Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion

1,385 views

Published on

レート歪み関数は、歪みを許して情報を圧縮するときに、許容する歪みの量に対し、どこまで情報を圧縮することができるかの限界を示すものです。しかしながら、この概念を導出したシャノンが与えた一般的な下界に対して、レート歪み関数が真に大きい場合には、ごくわずかな例でしか、その厳密な評価は与えられていません。この研究は、ガンマ分布に従う情報源について、対数絶対損失による歪み尺度に対するレート歪み関数を評価したものです。

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion

  1. 1. Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion 渡辺一帆(奈良先端大) 池田思朗(統計数理研)
  2. 2. 概要 レート歪み理論 情報源 U 圧縮 V 再構成 (レート歪み関数)>(シャノンの下界)のとき [Tan & Yao, 1975] [Yao & Tan, 1978]:絶対損失 [Fix, 1978] [Rose, 1994]:二乗損失 レート歪み関数の導出 情報源: ガンマ分布 歪み尺度: 対数絶対損失 R(D) D
  3. 3. レート歪み関数 レート歪み関数(定義) R(D) = inf q(v|u):E[d (U ,V )]≤D I (q) p (u ) :情報源 d (u, v) :歪み尺度 I (q) = I (U ;V ) = E p(u ) [KL(q(v | u) || q(v))] :相互情報量 q(v) = ∫ q(v | u) p(u)du :(周辺)再構成分布 操作的意味 ( fn , gn ) :符号器-復号器の対 [ ] lim E d (U n ,V n ) ≤ D n →∞ V n = gn ( fn (U n )) R(D) は達成可能なレートRの下限。 nR bits {1, 2, ..., 2nR}
  4. 4. R(D)の性質 R(D) 単調非増加 凸 傾きパラメータ s≤0 傾き s R(Ds ) = inf {I (q) − sE[d(U,V )]}+ sDs q(v|u) { D } = inf − E p(u ) log ∫ exp(sd (u, v))q(v)dv + sDs q(v) KKT条件 c(v) =1 (v ∈Vs )  c(v) ≤1 (v ∉Vs ) Vs = {v; q (v) > 0}:再構成分布の台 p (u ) exp( sd (u , v )) c (v ) ≡ ∫ ~ ) exp( sd (u , v ))dv du ~ ~ q (v ∫
  5. 5. シャノンの下界 (SLB) 差分歪み尺度 d ( u , v ) = ρ ( u − v ) g s ( w ) ∝ e s ρ ( w ) ( g s * q )(u ) = ∫ g s (u − v ) q (v ) dv R( D) = supinf KL( p || g s ∗ q) + h( p) + sD − log ∫ e sρ ( w) dw    s ≤0  q ( v ) { ≥ sup h ( p ) + sD − log ∫ e s≤0 = h( p) − h( gsL ) ≡ RL (D) sρ ( w ) ∫ ρ (u ) g dw sL } 微分エントロピー (u )du = D :SLB R( D) = RL ( D) p = gs * q p が g s の混合で表現可能
  6. 6. ガウス情報源,2乗損失 p (u ) = N (u | µ , σ 2 ) R( D) = RL ( D) d (u , v ) = (u − v ) 2 |s| p(u) = ∫ D = ∫u π 2 |s| π { } exp s(u − v)2 q(v)dv e su 2 du = 1 2|s| q(v) = N(v | µ,σ 2 − D) 1 σ2 R(D) = log (0 ≤ D ≤σ 2 ) 2 D [Cover & Thomas, Elements of Information Theory]
  7. 7. ガウス情報源,絶対損失 p (u ) = N (u | µ , σ 2 ) V s = [µ − a s , µ + a s ] と仮定 c(v) =1 (v ∈Vs ) d (u , v ) =| u − v | R( D) > RL ( D) (q(v)について解く) 1 erfc ( a s / σ ) erfc ( a s / σ ) = = |s| p ( µ − as ) p(µ + as )  1 (v − µ ) 2  q s (v ) = 1 + 2 2 − 2 4  p (v ) sσ   sσ + [Tan & Yao, 1975] 1/ | s | as µ 連続成分 1 a  | s | − s2  p(v − as ){δ (v − µ + as ) + δ (v − µ − as )} 2  s  σ  離散成分 c(v) ≤1 (v ∉Vs ) R(D) (sによるパラメータ表示)
  8. 8. ガンマ情報源,対数絶対損失 ガンマ分布 xα −1e − x / θ Gam ( x | α , θ ) = Γ (α )θ α キューでの待ち時間 スパイク時間間隔 パワースペクトル 対数絶対損失 d ( x, y) =| log x − log y | スケール不変 θ =1
  9. 9. ガンマ情報源, 対数絶対損失 ガンマ分布 x α −1e − x / θ Gam ( x | α , θ ) = Γ (α )θ α キューでの待ち時間 スパイク時間間隔 パワースペクトル 対数絶対損失 d ( x, y) =| log x − log y | R( D) > RL ( D) R(D) = RL (D) u = logx ( 1 p(u) = exp uα − eu Γ(α ) v = log y d (u, v) =| u − v | q(v) = p(v) − D2 p′′(v) ≥ 0 for all v )
  10. 10. 最適再構成分布 y * :メディアン v * = log y * [ Vs = v* − as , v* + bs c(v) =1 (v ∈Vs ) ] [t s , t s ] exp q(v)について解く 1 γ (α , t ) Γ (α , t ) = α −ts = α −ts | s | ts e s ts e s 1/ | s | 1/α 0 t s y * ts q s (v ) (α = 1) | s |= log 2 ≅ 0.69 c(v) ≤1 (v ∉Vs ) | s |= 0.8 | s |= 2.0
  11. 11. R(D)のパラメータ表示 qs (v | u ) ∝ exp( sd (u , v))qs (v) ( 1 1 α Ds = − t α e −t − t e −t | s | | s | Γ(α ) + ) { 1 α (log t )t α e −t − (log t )t e −t | s | Γ(α ) } + Ψ (α ) − Ψ (α , t ) − Ψ (α , t ) ( ) |s| 1 α −t α −t + α −1 + t e −t e 2 Γ(α ) α −t t e {α (log t ) − t + α − 1} − | s | Γ(α ) t α e −t {α (log t ) − t + α − 1} − | s | Γ (α ) + α {Ψ (α , t ) − Ψ (α , t ) } + log Γ (α ) R( Ds ) = log α =1 (指数分布) SLBはR(D)をよく近似する.
  12. 12. 結論 対数絶対歪み尺度に対するガンマ情報源のレート歪 み関数を導出。 最適再構成分布は 1) メディアン上の一点分布 2)(連続成分)+(両端の離散成分) 3)(連続成分)+(右端のみの離散成分) と遷移することを示した。

×