Non-trivial information closure (Bertschinger et al. (2006) "Information and closure in systems theory")について調べてみたのでまとめました。

1. NTICではなにを計算しているか
NTICはあくまでも3者の間のMIについての関係式。
MIの対称性より、MI(X;Y)のX,Yは交換可能。
NTICはMIだけで計算できるから
NTICの計算式そのものには向きはない。
NTIC(Z → X, Y) = MI(X; Y) − MI(X; Y|Z)
NTICではこの計算式を、
systemとenvironmentの時間的発展に当てはめることで、
時間方向の因果について意味付けしている。
X Y
Z
結論:

2. MI(X; Y)
H(Y|X)
H(X|Y)
H(X)
H(Y)
X,Yの2者のMI(X:Y)は
エントロピーから計算できる。
MI(X; Y) = H(X) − H(X|Y)
= H(Y) − H(Y|X)
相互情報量MIとエントロピーHの関係
H(X) H(Y)
H(Z)
MI(X; Y|Z)
NTIC
(Z → X, Y)
= MI(X; Y) − MI(X; Y|Z)
NTIC(Z → X, Y)
同じ要領でX,Y,Zの3者の
条件付き相互情報量 MI(X;Y|Z)
およびNTICを表示する。
NTICはX,Y,Zについて
対称になってる。

3. つまり(時系列を取っ払えば)
https://en.wikipedia.org/wiki/
Multivariate_mutual_information#/media/
File:VennInfo3Var.svg
NTIC = MI(X;Y;Z)
MI(X;Y;Z)という形を見ると、
相関での高次の相関に似ているように見える。
そこで、p(X),p(Y),p(Z)がgaussianで近似できる場合の
MI(X;Y;Z)の動態を調べてみた。
高次の相互情報量
NTIC = MI(X; Y; Z)
よって、
NTICそれじたいは
3者の間で一つ決まる値であって、
なんらかの方向の影響
を意味しているわけではない。

4. p(X),p(Y),p(Z)がgaussianの場合
よってNTIC = MI(X,Y,Z) も相関と偏相関で書ける。
MI(X; Y; Z) = MI(X; Y) − MI(X; Y|Z)
Zhao J, Zhou Y, Zhang X, Chen L. (2016) Proc Natl Acad Sci U S A. 113(18):5130-5.
のSupplementary informationに証明あり:
https://www.pnas.org/content/pnas/suppl/2016/04/16/1522586113.DCSupplemental/pnas.1522586113.sapp.pdf
= −
1
2
log(1 − ρ2
XY) +
1
2
log(1 − ρ2
XY⋅Z)
= −
1
2
log(
1 − ρ2
XY
1 − ρ2
XY⋅Z
)
p(X),p(Y),p(Z)がgaussianの場合、
相関係数
MIおよび条件付きMIは、相関および偏相関で書ける。
MI(X; Y) = −
1
2
log(1 − ρ2
XY)
偏相関係数MI(X; Y|Z) = −
1
2
log(1 − ρ2
XY⋅Z) ρXY⋅Z
ρXY

5. Information closureをベン図で理解
S1 S2
E1
時系列データに戻ってinformation closureの分類に当てはめてみる。
Information Closure
J(E → S) = MI(E1; S2 |S1) = 0
H(E1) H(S2)
H(S1)
MI(E1; S2 |S1)
NTIC
(E → S)
MI(E1; S2) = 0Trivial case:
MI(E1; S2) > 0Nontrivial case:
このとき2つのケースがある。
Independence
Passive adaptation
or modeling

6. Trivial case: Nontrivial case:
Information closureをベン図で理解
Information Closure
J(E → S) = MI(E1; S2 |S1) = 0
H(E1)
H(S2)
H(S1)
MI(E1; S2) = 0 MI(E1; S2) > 0
=> Independence => Passive adaptation or
modeling
H(E1) H(S2)と に重なりがない。
H(E1)
H(S2)
H(S1)
NTIC
(E → S)
H(E1) H(S2)と に重なりがあるが、
そこは に包含されている。H(S1)E1とS1は重なりうる。

7. イメージをふくらませるため先述の線形の条件で考えてみる。
線形条件(相関で置き換え可能)でのNTIC
p(E_1),p(S_1),p(S_2)がgaussianの場合、
MIおよび条件付きMIは相関および偏相関係数の関数で書ける。
かつ
Trivial case:
Nontrivial case: ρE1S2
≠ 0
そうすると
ρE1S2
= 0
ρ2
E1S2
= ρ2
E1S2⋅S1
となる。
NTIC = MI(E1; S1; S2) = MI(E1; S2) − MI(E1; S2 |S1) より、
MI(E1; S2) = MI(E1; S1; S2)
つまり
MI(E1; S2) = −
1
2
log(1 − ρ2
E1S2
)
MI(E1; S2 |S1) = −
1
2
log(1 − ρ2
E1S2⋅S1
)
つまり相関がゼロでないのに
相関と偏相関が等しいときにnontrivialなinformation closureが起こる。

8. このことから3つの相関係数が満たすべき条件がわかる。
ρ2
E1S2
= ρ2
E1S2⋅S1
かつρE1S2
≠ 0 とは
ρE1S2⋅S1
=
ρE1S2
− ρS1S2
ρE1S1
1 − ρS1S2
1 − ρE1S1
1 − ρS1S2
1 − ρE1S1
=
ρE1S2
− ρS1S2
ρE1S1
ρE1S2
(1 − ρS1S2
)(1 − ρE1S1
) = 1 −
ρS1S2
ρE1S1
ρE1S2
より、
ρE1S2
=
ρS1S2
ρE1S1
1 − (1 − ρS1S2
)(1 − ρE1S1
)
Nontrivial case:
線形条件(相関で置き換え可能)でのNTIC

9. Nontrivial information closureしているときに が満たすべき条件ρE1S2
ρE1S2
=
ρS1S2
ρE1S1
1 − (1 − ρS1S2
)(1 − ρE1S1
)
一般的にシステムには
自己相関があるから
このとき必ず
ρS1S2
> 0
ρE1S2
> 0
ρE1S1
ρS1S2
−1 1
−1
1
ρE1S2
ρE1S2 をカラー表示
けっきょく第1象限が
いちばんありうる。
線形システムでInformation
closureを保つためには、こういう
相関構造を維持する必要がある。
線形条件(相関で置き換え可能)でのNTIC

10. 生成モデルでの表現
NTIC(E1 → S1, S2) = MI(E1; S2) − MI(E1; S2 |S1)
S1 S2
E1
MI(E1; S2) = DKL(P(E1, S2)∥P(E1)P(S2))
MI(E1; S2 |S1) = DKL(P(S1, S2, E1)∥P(E1 |S1)P(S2 |S1)P(S1))
相互情報量はKLDとして表現することができる。
よって、NTICは2つのKLDの差になってる。
MIを2つの生成モデルのKLDとして図示することができる。
P(S2 |E1)P(E1)
MI(E1; S2) = DKL(P(E1, S2)∥P(E1)P(S2))相互情報量
P(S2)P(E1)
二つの
生成モデル
のKL距離
S2 S2
E1E1
P(S2, E1) =
今度は逆に、生成モデルを使って積極的に向きをつけてみる。
P(S2, E1) =

11. P(S2 |E1)P(E1)
MI(E1; S2) = DKL(P(E1, S2)∥P(E1)P(S2))
生成モデルでの表現
相互情報量
P(S2)P(E1)
二つの
生成モデル
のKL距離
条件付き
相互情報量
MI(E1; S2 |S1) = DKL(P(S1, S2, E1)∥P(E1 |S1)P(S2 |S1)P(S1))
P(S2 |S1, E1)P(S1 |E1)P(E1)
S1 S2 S1 S2
P(S2 |S1)P(S1 |E1)P(E1)
二つの
生成モデル
のKL距離 E1E1
S2 S2
E1E1
同様に条件付き総合情報量についても生成モデルが作れる。

12. 生成モデルでの表現
このように図示してみると、nontrivialなケースとは、
P(S2 |E1)P(E1) P(S2)P(E1)
S2 S2
E1E1
P(S2 |S1, E1)P(S1 |E1)P(E1)
S1 S2 S1 S2
P(S2 |S1)P(S1 |E1)P(E1)
E1E1
NTIC(E1 → S1, S2) = MI(E1; S2) − MI(E1; S2 |S1)
下図の距離はゼロなのに、上図の距離が正である場合になる
MI(E1; S2)
MI(E1; S2 |S1)