1. PRML#17 (最終回)
12.4補習: 独立成分分析
2010-09-11
YOSHIHIKO SUHARA
id:sleepy_yoshi
@sleepy_yoshi

2. おことわり
• これからの話は全て↓に書かれています
1

3. ポイントだけ
• 独立成分分析とは?
• 必要なのは独立性。
• ガウス分布、ダメ、ゼッタイ。
• 目的関数いろいろ、解き方もいろいろ。
2

4. 独立成分分析とは?
3

5. PRML的な流れ
• 線形ガウスモデル
– 主成分分析
• 線形非ガウスモデル
– 独立成分分析
• 非線形ICAもあるらしいが…
非ガウス分布を用いた潜在変数の線形変換に
よって観測変数が得られるというモデル
4

6. 問題設定: 未知音源分離
M台のマイク N人の話者
(観測変数) (潜在変数)
5
※簡単のため〃M=Nの例を用いる

7. 未知音源分離の定式化
• 観測変数は潜在変数の線形変換で表現
=
1 = 11 1 + 12 2 + 13 3
2 = 21 1 + 22 2 + 23 3
3 = 31 1 + 32 2 + 33 3
結論
s1, s2, s3が統計的に独立であれば〃
A, s共に計算することが可能 6

8. 必要なのは独立性。
• 独立性
= ( ) (12.89)
=1
• 無相関性 ≠ 独立性
7

9. ガウス分布、ダメ、ゼッタイ。
• 潜在変数sにガウス分布は利用できない
• 理由: ガウス分布は混合してしまうと分離でき
ないから
– 厳密には、ひとつのガウス分布まではOK
4
2
0
-2
-4
-2 0 2 8

10. ガウス分布、ダメ、ゼッタイ。
• 確率的主成分分析では…
– 潜在変数空間の分布が平均0の等方的ガウス分布
– 潜在変数の空間を変化させても尤度関数の形は変わ
らない
= + 2 (12.36)
= というを用いて → と変換
= + 2
9

11. 目的関数いろいろ、解き方もいろいろ。
• 目的関数
– 尤度最大化
– 情報量最大化
– 相互情報量最小化
– …
• 解き方
– 勾配法
– EMアルゴリズム
–…
10

12. 尤度最大化の例
線形変換の式
• 線形変換の式を利用して 1
= (−1 )
det
= det = det ( ) ここで = −1
= det ( )
=
=
の個の観測値 1 , 2 , … , ()があるとすると〃尤度は
T個の点で評価でき〃Bの関数とみなせる
() = det ( ())
あとは尤度を取って勾配法で最適化
11

13. 参考文献
• ウェブ上にも参考資料は多い
• 一冊挙げるとすればコレ
12

14. おわり
13