第13回 Zansa http://zansa.info/materials-13.html 独立成分分析 その概念と有用性について

1. Dec. 18, 2012
第13回 Zansa 勉強会
独立成分分析
ー その概念と有用性について ー
東京大学大学院 工学系研究科
システム創成学専攻 博士課程1年
安川 和孝
1

2. 1. Introduction
アメリカ合衆国・テキサスA&M大学
自己紹介
氏名
安川 和孝
所属
東京大学大学院 工学系研究科
システム創成学専攻
専門分野 深海底掘削船 JOIDES Resolution号
資源地質学，古環境学 (深海底堆積物の化学分析)
“地球の環境はなぜ・どのように変動してきたのか？”
趣味
フットサル
Twitter
@kaz__83
From website of the ODP/TAMU
2

3. 2. 多変量解析とは？
一般論
多変量解析：1つの観測値に複数の属性があるデータを対象として，
標本間や変数間の関係を読み解くための手法
要するに，
観測値が持つ情報をなるべく少ない変数で表現したい
3

4. 2. 多変量解析とは？
よく使われる多変量解析手法
①主成分分析
観測されたデータ x を
xi = ai1 s1 + ai2 s2 + ･･･ + aik sk
という形に分解する
■ 主成分 si の線形和で，データの分散をなるべく多く説明する
■ 各主成分 si は，ガウス分布 (正規分布) に従うと仮定
数個の主成分でデータの分散の大部分が説明できれば，
それらを用いてデータの大幅な次元縮約ができて便利！
4

5. 2. 多変量解析とは？
よく使われる多変量解析手法
②因子分析
観測されたデータ x を
xi = ai1 s1 + ai2 s2 + ･･･ + aik sk + ni
という形に分解する
■ 共通因子 si の線形和と独自因子 (雑音) n に分けて考える
■ 共通因子・独自因子ともに，ガウス分布 (正規分布) に従うと仮定
観測データに雑音が混じる場合を扱うことができる
5

6. 2. 多変量解析とは？
素朴な疑問
世の中の物事って，そう上手いことガウス分布に従うのか？
恐らく，多くの場合において答えは NO
そんな中，データの「非ガウス性」に着目したのが
独立成分分析 と呼ばれる解析手法
6

7. 3. 独立成分分析とは何ぞや
カクテルパーティ効果
騒がしい場所でも，自分の名前を呼ばれたら
人は意外と聞き取れる
7

8. 3. 独立成分分析とは何ぞや
カクテルパーティ効果
心理学的には… “選択的注意” と呼ばれる脳の高次機能
工学的には… 観測された混合信号から原信号を復元する
信号処理の問題
実際にその処理を行うには，具体的にどうすれば良いのか？
8

9. 3. 独立成分分析とは何ぞや
Blind Source Separation; 暗中信号源分離
x1 a11
a12 s1
a13
x2
s2
x3
s3
x4
x1 (t) = a11s1 (t) + a12 s2 (t) + a13s3 (t)
行列で表現すると
x2 (t) = a21s1 (t) + a22 s2 (t) + a23s3 (t)
x3 (t) = a31s1 (t) + a32 s2 (t) + a33s3 (t)
x = As … A,s : 未知
x4 (t) = a41s1 (t) + a42 s2 (t) + a43s3 (t)
観測された信号は，それぞれの原信号がある荷重で混合したもの
9

10. 3. 独立成分分析とは何ぞや
Blind Source Separation; 暗中信号源分離
x1 a11
a12 s1
a13
x2
s2
x3
s3
x4
もし A が分かったら…
s1 (t) = w11 x1 (t) + w12 x2 (t) + w13 x3 (t) + w14 x4 (t)
s2 (t) = w21 x1 (t) + w22 x2 (t) + w23 x3 (t) + w24 x4 (t) s = Wx
s3 (t) = w31 x1 (t) + w32 x2 (t) + w33 x3 (t) + w34 x4 (t)
となる A の逆行列 W を求めればよい
10

11. 3. 独立成分分析とは何ぞや
Blind Source Separation; 暗中信号源分離
x1 a11
a12 s1
a13
x2
s2
x3
s3
x4
もし A が分かったら…
s1 (t) = w11 x1 (t) + w12 x2 (t) + w13 x3 (t) + w14 x4 (t)
s2 (t) = w21 x1 (t) + w22 x2 (t) + w23 x3 (t) + w24 x4 (t) s = Wx
s3 (t) = w31 x1 (t) + w32 x2 (t) + w33 x3 (t) + w34 x4 (t)
となる A の逆行列 W を求めればよい
具体的な混合過程が分からない状態でも，原信号を復元したい
11

12. 3. 独立成分分析とは何ぞや
Blind Source Separation; 暗中信号源分離
x1 a11
a12 s1
a13
x2
s2
x3
s3
x4
実は…
「s1 , s2 , s3 は統計的に独立」
「s1 , s2 , s3 は非ガウス分布に従う」
という仮定だけで，原信号 s を求めることができる
12

13. 3. 独立成分分析とは何ぞや
「統計的に独立」の定義
fXY (x, y) = fX (x) fY (y) X は Y に関する情報を持たない
f : 確率密度関数 ＝ 確率変数 X , Y は独立
「無相関 ⇒ 独立」ではない
【無相関な一様分布による例】
’
直交行列をかけて回転
’
x1 が分かっても x2 の情報は得られない x1’が分かると x2’ の範囲が絞られる
x1 と x2 は独立 x1’ と x2’ は無相関だが独立ではない
13

14. 3. 独立成分分析とは何ぞや
「独立 ⇒ 無相関」は成り立つ
この条件から，独立成分を探す範囲を絞り込むことができる
直交変換：z = Vx により
変数が無相関になるように
基底 (軸) の取り方を変える 中心周りに回転させていくと，
軸がそのまま独立成分となる角度が
どこかにある！
変数が互いに無相関となる基底の集合の中に，求める独立成分もあるはず！
でも... 新しい変数が無相関となる基底の取り方は無数にある (軸の回転が可能)
その中からどうやって求める独立成分を見つけ出すのか？
そこで，「非ガウス性」に着目！
14

15. 3. 独立成分分析とは何ぞや
「非ガウス性」に着目して独立成分を見つける
観測値を直交変換：z = Vx = VAs = Ãs
中心極限定理
æ z ö æ a s +a s
  ö
zi は独立な起源成分の線形和：ç 1 ÷ = ç 11 1 12 2
ç z2 ÷ ç a21s1 + a22 s2
÷
÷
è ø è   ø
z1 の確率分布 s1 の確率分布
zi は確率変数 si の和なので，その確率分布は
どの si の分布よりもガウス分布に近づいている
最もガウス分布から離れるような zi は，起源成分の1つに一致するはず！
15

16. 3. 独立成分分析とは何ぞや
具体的な手順は2つ：「白色化」と「回転」
①観測データを無相関化
Whitening
②分散を1に正規化
①, ②を併せて 白色化 という
③基底を原点周りに回転
Rotation
変数の分布 (ヒストグラム) が
最もガウス分布から離れる
池田・村田 (1998)
基底が独立成分となる！
16

17. 3. 独立成分分析とは何ぞや
具体的な手順は2つ：「白色化」と「回転」
「非ガウス性」を測る
Whitening
同じ平均・分散を持つガウス分布に従う
①観測データを無相関化
変数との差分の累積が最大となればよい
③基底を原点周りに回転
Rotation
変数の分布 (ヒストグラム) が
最もガウス分布から離れる
池田・村田 (1998)
基底が独立成分となる！
17

18. 3. 独立成分分析とは何ぞや
まとめるとこんなイメージ
未知の割合で混合した観測信号から
「独立・非ガウス的」という仮定のみに基づき
原信号を復元することができる！
18

19. 4. 独立成分分析の応用事例
脳科学分野：脳磁図の分離 【独立成分分析により得られた9成分】
歯の噛み締め
観測信号から Artifact を分離する 歯の噛み締め
【実験的にArtifactを加えた観測信号】 眼球の水平運動
心拍
眼球の水平運動 まばたき 歯の噛み締め
まばたき
呼吸・その他
呼吸・その他
デジタル
腕時計
センサ不良によるノイズ
Hyvärinen et al. (2000)
19

20. 4. 独立成分分析の応用事例
情報科学分野：画像処理
原画像 原画像にノイズを加えたもの
独立成分分析の原理を用いた
ノイズ除去の結果は，古典的
手法よりも良く原画像を復元
独立成分分析の原理を用いた 古典的手法 (ウィーナフィルタ)
ノイズ除去の結果 を用いたノイズ除去の結果
※実際の処理には今日の説明の内容を越える
複雑な計算を含んでいます
Hyvärinen et al. (2000)
20

21. 4. 独立成分分析の応用事例
【独立成分分析を施した結果】
経済学分野：金融時系列データの解析
クリスマス
同じ小売チェーンに属する各店舗の
競合店との相対的
キャッシュフローを支配する要因は？ 競争力を反映？
【元データの一部 (40店舗中の5店舗)】 長期トレンド？
独立成分分析により 夏のバカンス
4個の独立成分を抽出
【個々の店舗のマネジメントを反映】
共通の独立成分を
元データから差し引く
時間 (週)
※縦軸は平均を引き分散1に正規化したキャッシュフロー
Kiviluoto & Oja (1998)
21

22. 5. 留意点
得られた独立成分には不定性が残る
 独立成分は方向しか決められない
s をスカラー倍しても混合行列 A で相殺される
 独立成分の順位を決めることはできない
混合行列 A の取り方次第で s の要素が入れ替わる
他の多変量解析手法との関連
 主成分分析や因子分析は，独立成分分析の前処理 (白色化) に使える
独立成分分析が絶対的に優れているわけではない！
それぞれの手法に特性があるので，目的に応じた使い分けが必要！
22

23. 6. まとめ
■ 独立成分分析とは「原信号が統計的に独立かつ非ガウス的」
という仮定のみから，観測信号を独立な成分に分解する手法
■ きちんとその特性を理解した上で応用すれば，様々な分野で
古典的な解析手法では見えなかった情報が見えてくるはず！
23

24. 7. 参考資料
 Aapo Hyvärinen et al. 著，根本幾・川勝真喜 訳 (2005)
「詳解 独立成分分析 信号解析の新しい世界」 東京電機大学出版局, 532pp.
 村田昇 (2004)「入門 独立成分分析」 東京電機大学出版局, 246pp.
 池田思朗・村田昇 (1998) Independent Component Analysisを用いたMEGデータの解析．
電子情報通信学会技術研究報告. HIP, ヒューマン情報処理 98(131), 29-36.
 Hyvärinen, A. and Oja, E. (2000) Independent component analysis: algorithms and applications.
Neural Networks, 13, 411-430.
 Kiviluoto, K. and Oja, E. (1998) Independent component analysis for parallel financial time series.
In Proc. Int. Conf. on Neural Information Processing (ICONIP’98), 2, 895-898.
24

25. ご清聴ありがとうございました
25