レート歪み関数は、歪みを許して情報を圧縮するときに、許容する歪みの量に対し、どこまで情報を圧縮することができるかの限界を示すものです。しかしながら、この概念を導出したシャノンが与えた一般的な下界に対して、レート歪み関数が真に大きい場合には、ごくわずかな例でしか、その厳密な評価は与えられていません。この研究は、ガンマ分布に従う情報源について、対数絶対損失による歪み尺度に対するレート歪み関数を評価したものです。

1. Rate-Distortion Function for Gamma
Sources under Absolute-Log Distortion
渡辺一帆（奈良先端大）
池田思朗（統計数理研）

2. 概要
レート歪み理論
情報源
U
圧縮
V
再構成
(レート歪み関数)>(シャノンの下界)のとき
[Tan & Yao, 1975] [Yao & Tan, 1978]：絶対損失
[Fix, 1978] [Rose, 1994]：二乗損失
レート歪み関数の導出
情報源： ガンマ分布
歪み尺度： 対数絶対損失
R(D)
D

3. レート歪み関数
レート歪み関数（定義）
R(D) =
inf
q(v|u):E[d (U ,V )]≤D
I (q)
p (u )
：情報源
d (u, v) ：歪み尺度
I (q) = I (U ;V ) = E p(u ) [KL(q(v | u) || q(v))] ：相互情報量
q(v) = ∫ q(v | u) p(u)du
：（周辺）再構成分布
操作的意味
( fn , gn ) ：符号器-復号器の対
[
]
lim E d (U n ,V n ) ≤ D
n →∞
V n = gn ( fn (U n ))
R(D) は達成可能なレートRの下限。
nR bits
{1, 2, ..., 2nR}

4. R(D)の性質
R(D)
単調非増加
凸
傾きパラメータ
s≤0
傾き
s
R(Ds ) = inf {I (q) − sE[d(U,V )]}+ sDs
q(v|u)
{
D
}
= inf − E p(u ) log ∫ exp(sd (u, v))q(v)dv + sDs
q(v)
KKT条件
c(v) =1 (v ∈Vs )

c(v) ≤1 (v ∉Vs )
Vs = {v; q (v) > 0}：再構成分布の台
p (u ) exp( sd (u , v ))
c (v ) ≡ ∫
~ ) exp( sd (u , v ))dv du
~ ~
q (v
∫

5. シャノンの下界 (SLB)
差分歪み尺度 d ( u , v ) = ρ ( u − v )
g s ( w ) ∝ e s ρ ( w ) ( g s * q )(u ) = ∫ g s (u − v ) q (v ) dv
R( D) = supinf KL( p || g s ∗ q) + h( p) + sD − log ∫ e sρ ( w) dw



s ≤0  q ( v )
{
≥ sup h ( p ) + sD − log ∫ e
s≤0
= h( p) − h( gsL )
≡ RL (D)
sρ ( w )
∫ ρ (u ) g
dw
sL
}
微分エントロピー
(u )du = D
:SLB
R( D) = RL ( D)
p = gs * q
p
が
g s の混合で表現可能

6. ガウス情報源，２乗損失
p (u ) = N (u | µ , σ 2 )
R( D) = RL ( D)
d (u , v ) = (u − v ) 2
|s|
p(u) = ∫
D = ∫u
π
2
|s|
π
{
}
exp s(u − v)2 q(v)dv
e
su 2
du =
1
2|s|
q(v) = N(v | µ,σ 2 − D)
1 σ2
R(D) = log
(0 ≤ D ≤σ 2 )
2 D
[Cover & Thomas, Elements of Information Theory]

7. ガウス情報源，絶対損失
p (u ) = N (u | µ , σ 2 )
V s = [µ − a s , µ + a s ] と仮定
c(v) =1 (v ∈Vs )
d (u , v ) =| u − v |
R( D) > RL ( D)
（q(v)について解く）
1
erfc ( a s / σ ) erfc ( a s / σ )
=
=
|s|
p ( µ − as )
p(µ + as )

1
(v − µ ) 2 
q s (v ) = 1 + 2 2 − 2 4  p (v )
sσ 
 sσ
+
[Tan & Yao, 1975]
1/ | s |
as
µ
連続成分
1
a 
| s | − s2  p(v − as ){δ (v − µ + as ) + δ (v − µ − as )}
2 
s 
σ 
離散成分
c(v) ≤1 (v ∉Vs )
R(D) （sによるパラメータ表示）

8. ガンマ情報源，対数絶対損失
ガンマ分布
xα −1e − x / θ
Gam ( x | α , θ ) =
Γ (α )θ α
キューでの待ち時間
スパイク時間間隔
パワースペクトル
対数絶対損失
d ( x, y) =| log x − log y |
スケール不変
θ =1

9. ガンマ情報源， 対数絶対損失
ガンマ分布
x α −1e − x / θ
Gam ( x | α , θ ) =
Γ (α )θ α
キューでの待ち時間
スパイク時間間隔
パワースペクトル
対数絶対損失
d ( x, y) =| log x − log y |
R( D) > RL ( D)
R(D) = RL (D)
u = logx
(
1
p(u) =
exp uα − eu
Γ(α )
v = log y
d (u, v) =| u − v |
q(v) = p(v) − D2 p′′(v) ≥ 0
for all
v
)

10. 最適再構成分布
y * ：メディアン v * = log y *
[
Vs = v* − as , v* + bs
c(v) =1 (v ∈Vs )
]
[t s , t s ]
exp
q(v)について解く
1
γ (α , t ) Γ (α , t )
= α −ts = α −ts
| s | ts e s
ts e s
1/ | s |
1/α
0
t s y * ts
q s (v )
(α = 1)
| s |= log 2 ≅ 0.69
c(v) ≤1 (v ∉Vs )
| s |= 0.8
| s |= 2.0

11. R(D)のパラメータ表示
qs (v | u ) ∝ exp( sd (u , v))qs (v)
(
1
1
α
Ds =
−
t α e −t − t e −t
| s | | s | Γ(α )
+
)
{
1
α
(log t )t α e −t − (log t )t e −t
| s | Γ(α )
}
+ Ψ (α ) − Ψ (α , t ) − Ψ (α , t )
(
)
|s|
1 α −t α −t
+ α −1 +
t e −t e
2
Γ(α )
α −t
t e
{α (log t ) − t + α − 1}
−
| s | Γ(α )
t α e −t
{α (log t ) − t + α − 1}
−
| s | Γ (α )
+ α {Ψ (α , t ) − Ψ (α , t ) } + log Γ (α )
R( Ds ) = log
α =1
（指数分布）
SLBはR(D)をよく近似する.

12. 結論
対数絶対歪み尺度に対するガンマ情報源のレート歪
み関数を導出。
最適再構成分布は
1) メディアン上の一点分布
2)（連続成分）+（両端の離散成分）
3)（連続成分）＋（右端のみの離散成分）
と遷移することを示した。