多端子情報理論のマトロイド的構造

多端子情報理論のマトロイド的構造
.
.
Joe Suzuki

Osaka University

情報理論ミニワークショップ
2013 年 3 月 26 日
於奈良先端科学技術大学院大学

情報理論ミニワークショップ 2013 年 3 月 26
Joe Suzuki (Osaka University) 多端子情報理論のマトロイド的構造 / 23

はじめに

お話のねらい

多端子情報理論からネットワーク情報理論へ
Polymatroid/Co-Polymatroid の概念がなぜ必要か
Han Te Sun “Multicasting Multiple Correlated Sources to Myltiple Sinks
over a Noisy Channel Network”, IEEE Trans. on Inform. Theory, Jan.
2011


Han 2011

ネットワーク N = (V , E , C )

G = (V , E ): DAG
V : 有限集合 (nodes)
E ⊂ {(i, j)|i ̸= j, i, j ∈ V } (edge)
Φ, Ψ ⊂ V , Φ ∩ Ψ = ϕ (source and sink nodes)
(1) (n)
Source Xsn = (Xs , · · · , Xs ) (s ∈ Φ): stationary ergodic
XΦ = (Xs )s∈Φ , XT = (Xs )s∈T (T ⊂ Ψ)
Channel 入出力 Y , Z の推移確率 C = (ci,j ),
1
ci,j := lim max I (Y n , Z n ) (capacity)
n→∞ n Y n
各 (i, j) ∈ E で statistically independent
strong converse property


Han 2011

N の Capacity Function ρN (S), S ⊂ Φ

(以下、集合 A の補集合を A と書くものとする) ¯

¯
(M, M) (cut)
EM := {(i, j) ∈ E |i ∈ M, j ∈ M} (cut set)
¯
∑
¯
c(M, M) := cij
¯
(i,j)∈E ,i∈M,j∈M

各 ϕ ̸= S ⊂ Φ, t ∈ Ψ について、ρt (S) := min ¯
c(M, M)
¯
M:S⊂M,t∈M

ρN (S) := min ρt (S)
t∈Ψ


Han 2011

(n, (Rij )(i,j)∈E , δ, ϵ) 符号

Xs : Xs の取りうる値の集合
各 s ∈ Φ, (s, j) ∈ E について、fsj : Xsn → [1, 2n(Rsj −δ) ]

hsj = ψsj ◦ wsj ◦ φsj ◦ fsj : Xsn → [1, 2n(Rsj −δ) ]
∏
各 i ̸∈ Φ, (i, j) ∈ E について、fij : [1, 2n(Rki −δ) ] → [1, 2n(Rij −δ) ]
k:(k,j)∈E

∏
hij = ψij ◦ wij ◦ φij ◦ fij : [1, 2n(Rki −δ) ] → [1, 2n(Rij −δ) ]
k:(k,j)∈E

∏
各 t ∈ Ψ について、gt : [1, 2n(Rkt −δ) ] → XΦ
n

k:(k,t)∈E

λn,t := Pr {XΦ,t ̸= XΦ } ≤ ϵ
ˆ n


Han 2011

Han 2011

定義: (Rij )(i,j)∈E が、G = (V , E ) で achievable .
(n, (Rij )(i,j)∈E , δ, ϵ) 符号が存在
.
定義: XΦ が、N = (V , E , C ) で transmissible
任意の τ > 0 で、(Rij )(i,j)∈E が、G = (V , E ) で achievable

定理 1 .
XΦ が、N = (V , E , C ) で transmissible であることと、以下は同値
.
H(XS |XS ) ≤ ρN (S) , ϕ ̸= S ⊂ Φ
¯
∑
1 (Xs )s∈Φ が独立 =⇒ H(Xi ) ≤ ρN (S) , ϕ ̸= S ⊂ Φ
i∈S ∑
2 Ri = H(Xi ) , i ∈ S =⇒ Ri ≤ ρN (S) , ϕ ̸= S ⊂ Φ
i∈S
Joe Suzuki (Osaka University) 多端子情報理論のマトロイド的構造
情報理論ミニワークショ .
ップ 2013 年 3 月 26
/ 23

Han 2011

例1

Φ = {s1 , s2 }, Ψ = {t1 , t2 }, cij = 1, (i, j) ∈ E

X1 X2
s1 s2
d d d d

© d
‚
d© d
‚
d
©
d
‚
d© dd
‚
X1 X1 ⊕ X2 X2
c c c c c c
d d d d
d
‚
d© 1 d
‚
d© 2 d
‚
d© d
‚
d©
t t
X1 X2 X1 X2


Han 2011

X1 , X2 ∈ {0, 1} が一様で独立のとき、条件が成立

ρt1 ({s2 }) = ρt2 ({s1 }) = 1
ρt1 ({s1 }) = ρt2 ({s2 }) = 2
ρt1 ({s1 , s2 }) = ρt2 ({s1 , s2 }) = 2
ρN ({s1 }) = min(ρt1 ({s1 }), ρt2 ({s2 })) = 1
ρN ({s2 }) = min(ρt1 ({s2 }), ρt2 ({s2 })) = 1
ρN ({s1 , s2 }) = min(ρt1 ({s1 , s2 }), ρt2 ({s1 , s2 })) = 2
H(X1 |X2 ) = H(X1 ) = 1
H(X2 |X1 ) = H(X2 ) = 1
H(X1 X2 ) = H(X1 ) + H(X2 ) = 2


Han 2011

例2

Φ = {s1 , s2 }, Ψ = {t1 , t2 }, 0 < p < 1
{
1 (−→)
cij :=
h(p) := −p log2 p − (1 − p) log2 (1 − p) (−→)

X1 X2
s1 s2
d d d d
d d AX1
d AX2 d

© d
‚© d
‚
© d
‚© d
‚
X1 A(X1 ⊕ X2 ) X2
c c c c c c
d d d d
d d d d
d t1
‚© d t2
‚© d
‚© d
‚©
X1 X2 X1 X2


Han 2011

X1 , X2 ∈ {0, 1} が一様、雑音 p の対称通信路のとき、条件が成立

ρt1 ({s2 }) = ρt2 ({s1 }) = h(p)
ρt1 ({s1 }) = ρt2 ({s2 }) = 1 + h(p)
ρt1 ({s1 , s2 }) = ρt2 ({s1 , s2 }) = min{1 + 2h(p), 2}
ρN ({s1 }) = min(ρt1 ({s1 }), ρt1 ({s2 })) = h(p)
ρN ({s2 }) = min(ρt1 ({s2 }), ρt2 ({s2 })) = h(p)
ρN ({s1 , s2 }) = min(ρt1 ({s1 , s2 }), ρt2 ({s1 , s2 })) = min{1 + 2h(p), 2}
H(X1 |X2 ) = h(p)
H(X2 |X1 ) = h(p)
H(X1 X2 ) = 1 + h(p)
A: m × n, m = nh(p) (K¨rner-Marton, 1979)
o

Han 2011

Converse: λn,t → 0 =⇒ H(XS |XS ) ≤ ρt (S), S ⊂ Φ
¯

(i1 , j1 ), · · · , (ir , jr ) ∈ M0 × M0 , ρt (S) = c(M0 , M0 )
¯ ¯
Y n := (Y n , · · · , Y n ), Z n := (Z n , · · · , Z n ),
1 r 1 r

I (XΦ ; XΦ,t |xS ) ≤ I (Y n ; Z n |xS )
n ˆn
¯ ¯
∑
H(XΦ |XΦ,t , xS ) ≤ rt (n, xS , S) := 1 + λn,t
n ˆn
¯ ¯ log |Xs |
s∈S
H(XΦ |xS )
n
¯ ≤ I (Y , Z |xS ) + rt (n, xS , S)
n
¯
n
¯

任意の τ > 0 と十分大きな n について、
∑
r ∑1
r
I (Y ; Z |xS ) ≤
n
¯
n
I (Yk ; Zk |xS )
n n
¯ ≤n n n
max I (Yk , Zk )
n n
Yk
k=1 k=1
∑ r
≤ n (cik ,jk + τ ) = n(ρt (S) + r τ )
k=1
∑
平均をとって、 n H(XS |XS ) ≤ ρt (S) +
1 n n
¯
1
n + λn,t s∈S log |Xs | + r τ

Han 2011

Direct: H(XS |XS ) ≤ ρt (S), S ⊂ Φ =⇒ λn,t → 0
¯

τ
Rij = cij + τ , 0 < δ <
2
fij の出力が 2 n(Rij −δ) 個 (c + τ < R − δ = c + τ − δ < c + τ )
ij ij ij ij
2
En : {hij ̸= fij } なる (i, j) ∈ E が存在する事象

λn,t = Pr {En }Pr {Xϕ,t ̸= Xϕ |En } + Pr {En }Pr {Xϕ,t ̸= Xϕ |En }
¯ ˆn n ¯ ˆn n

が十分大きな n について、Pr {Xϕ,t ̸= Xϕ |En } で上界
ˆn n ¯

ランダム符号化 {fij }(i,j)∈E
∏
各 z ∈ k:(k,i)∈E [1, 2n(Rk,i −δ) ] で、fij (z) ∈ [1, 2n(Rij −δ) ] が独立で一様


Han 2011

Direct (その 2)
xΦ = (xS , xS ) ∈ XΦ , x′
¯
n ′ ′
¯
n
¯
′
¯
′
Φ[S] = (xS , xS ) ∈ XΦ , xS = xS , xs ̸= xs , s ∈ S
{
xj (j ∈ Φ)
zj (xΦ ) =
(fkj (xΦ ))(k,j)∈E (j ̸∈ Φ)
˜
V0 : 先祖で少なくとも 1 つが Φ にある i ∈ V の集合
B := {i ∈ V0 |zi (xΦ ) ̸= zi (x′ ))}
Φ[S]

Pr {fij (xΦ ) = fij (x′ )|zi (xΦ ) ̸= zi (x′ )} = 2−n(Ri,j −δ) ≤ 2−n(cij +τ /2)
˜ ˜
Φ[S] Φ[S]

t ∈ Ψ, S ∈ Φ の各 (N, N), N ̸= V について、EN := {(i, j)|i ∈ N, j ∈ N}
¯ ¯
Pr (B = N) ≤ Pr {B = N|B ⊂ N}
∏
= Pr {fij (xΦ ) = fij (x′ )|zi (xΦ ) ̸= zi (x′ )}
˜ ˜
Φ[S] Φ[S]
(i,j)∈EN
∏ ∑
2−n(cij + 2 ) ≤ 2−n( ci,j + τ )
≤ 2−n(ρt (S)+ 2 )
τ τ
≤ (i,j)∈E 2

(i,j)∈EN

Pr {zt (xΦ ) = zt (x′ } = Pr (B ̸= V ) ≤ 2|V | 2−n(ρt (S)+ 2 )
τ
Φ[S]

Han 2011

定義: xΦ ∈ Tλ (XΦ )

1 1
各 ϕ ̸= S ⊂ Φ について、| log − H(Xs )| < λ
n p(xS )
1 (xS , xS ) ∈ Tλ (XΦ ) なる xS ∈ XS は、高々2n(H(XS |XS )+2λ) 個
¯
n ¯

2 Pr {XΦ ̸∈ Tλ (XΦ )} < λ
n


Han 2011

Direct (その 3)
FS,t (xΦ ): zt (xΦ ) = zt (x′ ) xS = x′¯ , xs ̸= x′ , s ∈ S なる
Φ[S] ¯ S s
′ ′ , x′ ) ∈ T (X ) が存在するとき 1、それ以外で 0
xΦ[S] = (xS S ¯ λ Φ

F (xΦ ) := max FS,t (xΦ )
ϕ̸=S⊂Φ,t∈Ψ

Pr {FS,t (xΦ ) = 1} ≤ 2n{H(XS |XS )+2λ Pr {zt (xΦ ) = zt (x′ }
¯
Φ[S]
|V | n{H(XS |XS )+2λ−ρt (S)− τ } |V | − τ n τ
≤ 2 2 ¯ 2 ≤ 2 2 4 , λ :=
8
∑
E [F (xΦ )] = Pr {F (xΦ ) = 1} ≤ Pr {FS,t (xΦ ) = 1} ≤ 2−cn
ϕ̸=S⊂Φ,t∈Ψ
∑ ∑
E[ p(xΦ )F (xΦ )] = p(xΦ )E [F (xΦ )]
xΦ ∈XΦ
n xΦ ∈XΦ
n
∑
≤ p(xΦ )Pr {F (xΦ ) = 1} + Pr {XΦ ̸∈ Tλ (XΦ )} ≤ 2−cn + λ
xΦ ∈Tλ (XΦ )

Matroid

Matroid

定義: 非空有限集合 E とその部分集合の族 I の対が Matroid
1 ϕ∈I
2 I ⊂ J ⊂ I =⇒ I ∈ I
3 I , J ∈ I, |I | < |J| =⇒ I ∪ {e} ∈ I なる e ∈ JI が存在 .

例 3: ある正則行列の列の集合 E と、その一次独立な部分集合の族 I

Matroid の階数関数 ρ : 2E → Z≥0 , ρ(X ) := max{|I ||I ⊂ X , .I ∈ I}
1 0 ≤ ρ(X ) ≤ |X |
2 X ⊂ Y ⊂ E =⇒ ρ(X ) ≤ ρ(Y )
3 ρ(X ) + ρ(Y ) ≥ ρ(X ∪ Y ) + ρ(X ∩ Y )
(実際、|I | = ρ(X ∩ Y ), |J| = ρ(X ∪ Y ) とおくと、J ∩ (X ∩ Y ) = I ,
|J ∩ X | ≤ ρ(X ), |J ∩ Y | ≤ ρ(Y ), |J ∩ X | + |J ∩ Y | = |J ∩ X ∩ Y | + |J|

Matroid

Polymatroid と Co-Polymatroid

E : 非空有限集合

定義: ρ : 2E → R≥0 が E 上の polymatroid
1 0 ≤ ρ(X ) ≤ |X |
2 X ⊂ Y ⊂ E =⇒ ρ(X ) ≤ ρ(Y )
3 ρ(X ) + ρ(Y ) ≥ ρ(X ∪ Y ) + ρ(X ∩ Y )
.
定義: σ : 2E → R≥0 が E 上の co-polymatroid
1 0 ≤ σ(X ) ≤ |X |
2 X ⊂ Y ⊂ E =⇒ σ(X ) ≤ σ(Y )
3 σ(X ) + σ(Y ) ≤ σ(X ∪ Y ) + σ(X ∩ Y ) .


Matroid

例 4: H(XS |XS ) は、Φ 上の co-polymatroid
¯

H(XS |XS ) = H(XΦ ) − H(XS )
¯ ¯

より、H(XS ) が polymatroid であることをいえば十分

H(XS ) + H(XT ) − H(XS∩T ) − H(XS∪T )
∑ P(xS∪T )
= P(xS∪T ) log ≥0
P(xS )P(xT )/P(xS∩T )
xS∪T ∈XS∪T


Matroid

¯
例 5: ρt (S) = minM:S⊂M,t∈M c(M, M) は、Φ 上の polymatroid
¯

任意に A, B ⊂ Φ を固定する。X ⊃ A, Y ⊃ B を

¯ ¯
ρt (A) = c(X , X ) , ρt (B) = c(Y , Y )

となるように選ぶと、A ∩ B ⊂ X ∩ Y , A ∪ B ⊂ X ∪ Y より、

ρt (A ∩ B) ≤ c(X ∩ Y , X ∩ Y )

ρt (A ∪ B) ≤ c(X ∪ Y , X ∪ Y )
= c(X , X ) + c(Y , Y ) − c(X ∩ Y , X ∩ Y )
¯ ¯
−c(X Y , X Y ) − c(Y X , Y X )
≤ ρt (A) + ρt (B) − ρt (A ∩ B)


Matroid

Slepian-Wolf distributed source coding と network coding の分離

∑
Ct := {(Rs )s∈Φ | Ri ≤ ρt (S)}
i∈S
∑
RSW = {(Rs )s∈Φ |H(XS |XS ) ≤
¯ Ri , ϕ ̸= S ⊂ Φ}
i∈S

定理 2: 以下の 2 条件は同値

H(XS |XS ) ≤ ρN (S) , ϕ ̸= S ⊂ Φ
¯ (1)
RSW ∩ Ct ̸= ϕ , t ∈ Ψ (2)

注意: (1)(2) は、以下の同値な (3)(4) より弱い。
∑
{(Rs )s∈Φ |H(XS |XS ) ≤
¯ Ri ≤ ρN (S) , ϕ ̸= S ⊂ Φ} ̸= ϕ (3)
i∈S
.
RSW ∩ (∩t∈Ψ Ct ) ̸= ϕ (4)

Matroid

Han 1980

σ(S): co-polymatroid
ρ(S): polymatroid
∑
{(Rs )s∈Φ |σ(S) ≤ Ri ≤ ρ(S), ϕ ̸= S ⊂ Φ} ̸= ϕ
i∈S
⇐⇒ σ(S) ≤ ρ(S) , ϕ ̸= S ⊂ Φ (5)

R2 T
a1 ≤ R1 ≤ b1
b12
a12 d a2 ≤ R2 ≤ b2
b2 dd
a2 dd
dd
dd a12 ≤ R1 + R2 ≤ b12
dd E
a1b1 R1

Matroid

|Φ| ̸= 1 では、一般に ρN (S) は、polynatroid ではない

定理 2 の証明: (1) は、

H(XS |XS ) ≤ ρt (S) , t ∈ Ψ, ϕ ̸= S ⊂ Φ
¯

と同値で、(5) と ρt (S) が polynatroid であることより、(2) と同値

Slepian-Wolf distributed source coding と network coding の分離
ρN (S) が polymatroid であれば、可能 (逆は成立しない)


Matroid

まとめ

マトロイド理論との関係
Slepian-Wolf と Network Coding が分離可能な条件
について、さらに調べていきたい。


多端子情報理論のマトロイド的構造

Recommended

Recommended

More Related Content

What's hot

What's hot (18)

Similar to 多端子情報理論のマトロイド的構造

Similar to 多端子情報理論のマトロイド的構造 (10)

More from Joe Suzuki

More from Joe Suzuki (20)

多端子情報理論のマトロイド的構造