标量量化

841 views
643 views

Published on

scalar quantization

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
841
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

标量量化

  1. 1. 第九章 标量量化量化:最简单、最重要的有失真编码量化问题各种量化方法 固定码长的均匀量化 均匀分布 已知pdf的非均匀分布 未知/变化分布 pdf最优的非均匀量化 压扩量化 熵约束量化应用
  2. 2. 量化量化:用一个很小的集合表示一个大集合(可能是无限大)的过程 如:给定信源为[-10.0, 10.0]之间的实数 量化:Q(x) = ⎣x+0.5⎦ [-10.0, -10.0] {-10, -9, …, -1, 0, 1, 2, …, 9, 10} 失真: 2.95, 3.16, 3.05 3量化是有失真压缩的一个有效工具原始数据 模型参数 量化符号 压缩码流 建模表达 二次量化 无失真编码 ① ② ③ 对模拟信号,量化还包括A/D转换中的一次量化
  3. 3. 量化过程两个方面 编码器映射 将一个范围内的值映射成一个区间,每个区间用唯一码字表示 若信源是模拟的 A/D 转换器 有关信源的知识有助于选择合适的范围 解码器映射 将码字映射成某个范围内的一个值 如果输出为模拟的 D/A 转换器 信源分布的知识有助于选择较好的近似 量化器 = 编码器 + 解码器
  4. 4. 例:量化3比特量化器
  5. 5. 量化器的输入输出映射 量化器 = 编码器 + 解码器
  6. 6. 量化问题形式化描述输入: X –随机变量 fX(x) – 概率密度函数 (pdf)输出: {bi}i=0..M 决策边界 {yi}i=1..M 重构水平满足率失真准则离散过程通常用连续分布近似 如:对像素差分用Laplacian建模 若信源无界,则第一个/最后一个边界 = ±∞
  7. 7. 量化误差 Q ( x ) = yi iff bi−1 < x ≤ bi均方量化误差(Mean squared quantization error, MSQE ) ∞σ =∫ ( x − Q ( x )) f X dx 2 2 q −∞ M bi 1 = ∑ ∫ ( x − yi ) f X dx 2 bi−1 i =1量化误差亦称为 量化噪声 量化失真
  8. 8. 量化问题形式化描述 (2)比特率 w /定长度码字 R = ⎡log2M⎤, M为量化器输出的数目 如:M = 8 R=3量化器设计问题 给定: 输入pdf fX(x) 和 M 求: 决策边界 {bi} 重构水平{yi} 使得: MSQE 最小
  9. 9. 量化问题形式化描述 (3)比特率 w /变长码字 R 取决于决策边界 例: R = ∑ i=1 li P( yi ) M bi P ( yi ) = ∫ f X ( x )dx bi−1 bi R = ∑ i=1 li ∫ M f X ( x )dx bi−1
  10. 10. 量化问题形式化描述 (4)码率最优形式化描述 失真最优化形式化描述 给定: 给定: 失真限制σq2 ≤ D* 码率限制 R ≤ R* 求: 求: {bi}, {yi}和 二进制码字 {bi}, {yi}和二进制码字 使得: 使得: R 最小 σq2 最小
  11. 11. 均匀量化所有区间大小相同 边界为等间隔分布,空间大小均为Δ 除了最外面两个区间重构 通常选择区间中点中升(Midrise )量化器 0 不是一个输出水平中平(Midtread)量化器 0 是一个输出水平
  12. 12. 均匀量化(Midrise)bi , yi 在空间上均匀分布,空间均为 Δ 对内部区间,yi = 1 2 ( bi −1 + bi ) yi xi共有偶数个重构水平 最外部的两个重构水平内部0不是一个重构水平 仍是一个步长大小
  13. 13. 均匀量化(Midtread) yi xi
  14. 14. 均匀分布的均匀量化 —以Midrise量化器为例输入:均匀分布的信源Uniform [ − X max , X max ] : f X ( x) = 1 2 X max输出:M个水平的均匀量化器(对Midrise量化,M为偶数) 步长: = 2X max M Δ 2i − 1 ⎞ Δ2 2 ⎛ M 2 iΔ 1 失真: q = 2 ∑ σ2 i =1 ∫(i−1) Δ ⎜ x − 2 Δ ⎟ 2 X max dx = 12 ⎝ ⎠
  15. 15. 均匀分布的均匀量化 x − Q ( x) 若考虑量化误差 q = x − Q ( x) q ∈ [ − Δ 2, Δ 2] 量化误差也是均匀分布: f Q ( q ) = 1 Δ σ q = Δ 2 12 σ s2 = ( 2 X max ) 12 2 2 所以q的方差为 则信噪比为 ⎛ ⎞ ⎜ ⎛ σ s22 ⎞ ⎛ ( 2 X max )22 12 ⎞ ( max 2 12 ⎟ 2 X max ) 2SNR(dB) = 10log10 ⎜ 22 ⎟ = 10log10 ⎜ 10 ⎜ s max ⎟ = 10log10 ⎜ ⎟ ⎟ 10 ⎜ 2⎟ ⎜ 12 ⎛ 2 X ⎞ 2⎟ ⎝ σ qq ⎠ Δ ⎠ 2 10 2 ⎝ 12 ⎜ ⎟ ⎟ max ⎜ max ⎝ ⎝ M ⎠ ⎠ = 10log10 (M 22) = 20log10 (2nn) = 6.02n dB 10 10若 n → n + 1 ,则步长减为一半,噪声方差减为1/4,SNR增加6 dB
  16. 16. 例:8 1, 2, 3 bits/pixel 1 比特量化: [0, 127] 64 [128, 255] 1962 比特量化: 3 比特量化边界:{[0, 64, 128,196, 255}重构水平{32, 96,160, 224 变暗、只保留轮廓
  17. 17. 非均匀分布的均匀量化器例非均匀分布:x ∈ [-100, 100], P(x ∈ [-1, 1]) = 0.95问题 设计一个 8水平的量化器若采用最简单的方法,步长为25,则 95%的样本([-1, 1])被两个数字表示: -12.5 和 12.5 最小QE <= 11.5 最大 QE= 12.5考虑另一个方案 步长 = 0.3 最大QE = 98.5, 但是95%的时间 QE < 0.15
  18. 18. 最优化 MSQE M 2 −1 2i − 1 ⎞ 2 iΔ ⎛ σq = 2 ∑ 2 ∫(i−1) Δ ⎜ x − 2 Δ ⎟ f X ( x ) dx i =1 ⎝ ⎠ M −1 ⎞ 2 ∞ ⎛ +2 ∫ x− Δ ⎟ f X ( x ) dx 2 −1) Δ ⎜ (M ⎝ 2 ⎠ 对特定的pdf,可数值求解∂σ q 2 M 2 −1 ⎛ iΔ 2i − 1 ⎞ = − ∑ ( 2i − 1) ∫ x− Δ ⎟ f X ( x ) dx∂Δ ( i −1) Δ ⎜ i =1 ⎝ 2 ⎠ ∞ ⎛ M −1 ⎞ − ( M − 1) ∫ x− Δ ⎟ f X ( x ) dx = 0 ( M 2 −1) Δ ⎜ ⎝ 2 ⎠
  19. 19. 例:最佳步长0附近pdf越大,步长越小SNR与比特数的关系与6.02n相差越远
  20. 20. 3比特中升量化器的QE 最外部的两个重构水平内部, Δ 最大量化噪声仍是 2
  21. 21. M 2 −1 iΔ ⎛ 2i − 1 ⎞ 过载/粒状区域 2σq = 2 ∑ 2 ∫(i −1) Δ ⎜ x− Δ ⎟ f X ( x ) dx 粒状噪声↑ i =1 ⎝ 2 ⎠ Δ↑ M −1 ⎞ 2 ∞ ⎛ +2∫ x− Δ ⎟ f X ( x ) dx 过载噪声 ↓ 2 −1) Δ ⎜ (M ⎝ 2 ⎠ max granular value 负载因子: ll = f , fll = 4 → "4σ loading " stdev
  22. 22. 方差不匹配的影响当输入方差小于假定方差,SNR下降很快MSQE减小,因为过载噪声减小但是由于输入方差小,SNR中的信号/噪声比率减小很快当输入方差大于假定方差MSQE相应增大,但是由于输入信号的能量增大,信号/噪声比率减小很慢 输入信源:Gaussian,均值为0, x2 = E ( X 2 ) σ 4比特Gaussian均匀量化器
  23. 23. 方差不匹配的影响(2) 输入信源:Gaussian,均值为0, x2 = E ( X 2 ) σ 4比特Gaussian均匀量化器
  24. 24. 分布不匹配的影响 8水平量化器,SNR设计的步长逐渐比“正确的”步长大,性能下降很快(类似方差比预计的方差小)
  25. 25. 自适应量化器思想 不是静态方法,而是与真实数据相适应 均值、方差、pdf前向自适应 (离线) 将信源分块 分析块的统计特性 设置量化方案 边信道(Side channel)后向自适应 (在线) 基于量化器输出自适应 无需边信道
  26. 26. 前向自适应量化器( FAQ )选择块大小 太大 分辨率不够,不能抓住输入的编变化 延迟增大 太小 需要更多边信息假设均值为0 方差估计 N −1 1 σ = 2 ˆ q N ∑ 2 xn +i i =0
  27. 27. 例:语音量化16比特 3比特定长码 失真较大
  28. 28. 例:语音量化 (2)16比特 3比特FAQ 块大小:128个样本 8比特方差量化 失真较小 红色区域还有提 升空间
  29. 29. 改进的FAQ迄今为止,我们假设均匀pdf改进 假设均匀pdf,但 记录每块的最大/最小值例: Sena图像 8×8 块 3比特量化 16 共: = 0.25 bits/pixel 8×8
  30. 30. 例:改进的FAQ原始图像: 8bits/pixel 量化: 3.25 bits/pixel
  31. 31. 后向自适应量化器( BAQ )观察 解码器只能看到量化器的输出 只能根据量化器输出进行自适应问题 只根据输出,如何减少不匹配信息 如果知道pdf,这是可能的… …耐心:观察长时间的量化器输出,推测是否发生了 不匹配现象 如果匹配,落入某区间的概率与预定的pdf一致,否则,发生 了匹配现象 如果步长比应有的步长小,输入落入外侧区间的数目偏大;相 反,输入落入内侧区间的数目偏大
  32. 32. Jayant 量化器思想: 如果输入落入外边的输出水平 增大量化步长 如果输入落入里边的输出水平 缩短量化步长 如果匹配,则增大和缩短的乘积应为1乘子: k M 如果 S n −1 输入落入第k个区间,则步长乘以 M k Δ n = M k Δ n −1 内部: k < 1, 外部: k > 1 M M前一个输出在编码器和解码器端的都可见,无需发送边信息
  33. 33. 3比特Jayant 量化器输出水平 M 0 = M 4 , M1 = M 5 , M 2 = M 6 , M 3 = M 7
  34. 34. 例:Jayant量化器M 0 = M 4 = 0.8, M 1 = M 5 = 0.9M 2 = M 6 = 1.0, M 3 = M 7 = 1, 2, Δ 0 = 0.5输入:0.1 -0.2 0.2 0.1 -0.3 0.1 0.2 0.5 0.9 1.5当输入变化较慢时,量化器可与输入很好适应:语音、图像
  35. 35. 选择Jayant乘子防止上溢/下溢: Δ min Δ max乘子的选择对适应性影响大:乘子离1越远,越适应,但太适应会导致不稳定 M ∏ M knk = 1 k =0 平稳性准则: 一旦量化器与输入匹配, M ∏M k =0 nk N k =1 增大和缩短的乘积为1 M ∏M k =0 k pk = 1, 其中pk = nk N M k = γ lk , 其中γ lk > 1, lk = ⎢lk ⎥ ⎣ ⎦ γ 越大,适应快;γ 较小,稳定性好 M M ∏γ k =0 lk pk =1 ⇒ ∑l k =0 k pk =0
  36. 36. 例:Jayant2比特量化器 图中结果为γ 接近1输入:0、1 γ 越大,适应快,振铃效应减弱
  37. 37. Jayant的性能
  38. 38. 非均匀量化 均与量化器只对均匀分布信源是最佳的 对给定的M,为了减小MSQE,我们应该在概率 f X ( x ) 较大 时缩小步长,而在 f X ( x ) 较小时增大步长 M ( x − Q ( x ) ) f ( x ) dx = ∑ ∫ ∞ ( x − yi ) f ( x ) dx biD =σ = ∫ 2 2 2 q −∞ bi −1 i =1
  39. 39. Lloyd-Max量化器亦称为pdf-最佳量化器 M ( x − Q ( x ) ) f ( x ) dx = ∑ ∫ ( x − y ) f ( x ) dx ∞ biD =σ = ∫ 2 2 2 q −∞ bi −1 i i =1给定M,最佳的 bi , yi 使得MSQE最小,满足 ∂D ∂D = 0, =0 ∂yi ∂bi bi ∂D = 0 ⇒ yi = ∫bi −1 xf ( x)dx ∂yi bi ∫bi−1 f ( x)dx即 yi 为区间 [bi −1 , bi ]的质心。
  40. 40. Lloyd-Max量化器∂D yi + yi +1 = 0 ⇒ bi =∂bi 2即 bi 为 yi 和 yi +1的中点 最近邻量化器Lloyd-Max条件总结: bi yi = ∫ bi −1 xf ( x)dx , bi = yi + yi +1 bi ∫ bi −1 f ( x)dx 2
  41. 41. 特定情况与均匀量化器的关系:当为均匀分布 f X ( x) = c 时, Lloyd-Max量化器变为均匀量化器 bi bi 1 2 2 ∫bi−1 xf ( x)dx = c ∫bi−1 xdx = 2 (bi − bi−1 ) = 1 (b + b )yi = bi i −1 f ( x) dx c(bi − bi −1 ) (bi − bi −1 ) i ∫ bi −1 2
  42. 42. Lloyd-Max算法最佳量化器的条件: bi yi = ∫ bi −1 xf ( x)dx , bi = yi + yi +1 bi ∫ bi −1 f ( x)dx 2给定 bi ,可以计算对应的最佳 yi给定 y,可以计算对应的最佳 bi i问题:如何同时计算最佳的 bi和 yi ?答案:迭代
  43. 43. 迭代Lloyd-Max算法1. 初始化所有的重构水平 yi , j = 1, D0 = ∞ yi + yi +12. 更新所有的决策边界: i = b 23. 更新所有的 yi : bi yi = ∫ bi −1 xf ( x)dx bi ∫ bi −1 f ( x)dx M4. 计算MSE: j = ∑ ∫b ( x − yk ) f ( x ) dx bi 2 D i −1 k =15. 如果( D j −1 − D j ) D j −1 < ε ,停止;否则 j = j + 1 ,转第2步
  44. 44. 例:Lloyd-Max算法的应用(I)X为0均值,1方差的高斯分布,即 X ~ N ( 0,1)设计一个4个索引的量化器,使得期望失真 D* 最小用Lloyd-Max算法得到最佳量化器 决策边界:-0.98, 0, 0.98 重构水平:–1.51, -0.45, 0.45, 1.51 D* = 0.12 = 9.30 dB f X ( x)
  45. 45. 例:Lloyd-Max算法的应用(I)收敛 D = σ q = 0.12 = 9.30 dB 2初始化A:决策边界为:–3, 0, 3 初始化A:决策边界为:–1/2, 0, 1/2在两种情况下,经过6次迭代后, D − D* ( ) D* < 0.1
  46. 46. 例:Lloyd-Max算法的应用(II) X为0均值,1方差的Laplacian分布 设计一个4个索引的量化器,使得期望失真 D*最小 用Lioyd-Max算法得到最佳量化器 决策边界:-1.13, 0, 1.13 重构水平:-1.83, -0.42, 0.42, 1.83 D* = 0.18 = 7.54dB f X ( x)一个好的预测器输出的预测误差通常满足0周围高峰值的分布,如Laplacian分布
  47. 47. 例:Lloyd-Max算法的应用(II)收敛初始化A:决策边界为:–3, 0, 3 初始化A:决策边界为:–1/2, 0, 1/2在两种情况下,经过6次迭代后, D − D* ( ) D* < 0.1
  48. 48. 更多结果…Laplacian分布的尾巴更长,外侧步长大;同时,内侧步长小,因为在中心附近概率Pdf最优量化器比pdf最优均匀量化器的SNR高
  49. 49. Lloyd-Max量化器的性质 1、MeanOutput = Meanintput2、VarianceOutput ≤ Varianceintput3、MSQE: σ q = σ x2 − ∑ y 2 P ( b j −1 ≤ x ≤ b j ) M 2 j i =14、若N为表示QE的随机变量,则 E ( XN ) = −σ q 25、量化器输出与QE正交(不相关) E ( Q ( X ) N | b0 , b1 ,..., bM ) = 0
  50. 50. 不匹配的影响4比特Laplacian 最优量化器
  51. 51. 压扩量化pdf-最优量化器在概率大的区域减小步长,但该量化器只对特定pdf最优,当处理实际信源时,pdf可能会变化,这样会发生不匹配现象 自适应压扩量化采取的是另一种思路 将概率大的区域拉伸,将概率小的区域压缩 落入每 个区域的概率大致相等(使概率分布变平坦) 用均 匀量化器即可 对pdf变化不敏感
  52. 52. 压扩量化 (Companded Quantization, CQ)Compressor 均匀量化器 Expander log压扩量化模块图
  53. 53. CQ举例: Compressorx ∈ [−4, 4], 在区间[−1,1]概率大
  54. 54. CQ举例:均匀量化器
  55. 55. CQ举例: Expander
  56. 56. CQ等价于非均匀量化器 ⎧ ⎪ 2x −1 ≤ x ≤ 1 ⎪ ⎪ 2x 4 c ( x) = ⎨ + x >1 ⎪3 3 ⎪ 2x 4 ⎪ 3 −3 ⎩ x < −1 ⎧ x ⎪ 2 −1 ≤ x ≤ 1 ⎪ ⎪ 3xc −1 ( x ) = ⎨ − 2 x >1 ⎪2 ⎪ 3x ⎪ 2 +2 x < −1 ⎩ x ∈ [−1,1],量化误差减小,其他区域量化增大
  57. 57. 非均匀量化器等价于CQ如果信源输出为有限大小 xmax ,任何非均匀量化器都可以用一个压扩量化器表示先看看高码率(水平的数目很多)量化器的性质定义 Δ k = bk − bk −1若码率很高,则每个量化区间会很小,所以可以假设在每个量化区间输入信源的pdf f X ( x ) 为常数,则 f X ( x ) = f X ( yk ) , if bk −1 ≤ x < bk M ∑∫ (x − y ) f X ( x ) dx bi 1则 σ2 = 2 q i bi −1 i =1 M 1 M = ∑ fX ( x) ∫ ( x − yi ) dx = ∑ f X ( yi ) Δ i3 bi 1 2 i =1 bi −1 12 i =1
  58. 58. 非均匀量化器等价于CQ回到压扩量化令 c ( x ) 为对称量化器的压扩函数, ′ ( x )为压扩函数的导数 c当码率很高时,在第k个区间内,压扩函数可用直线近似,则 ( k) c b −c b c ′ ( yk ) = ( k −1 ) Δk而 c ( bk ) − c ( bk −1 ) 恰好是M个水平均匀量化器的步长,因此 2 xmax c ( bk ) − c ( bk −1 ) = xmax M c ( bk ) c ( bk −1 )代入上式,得到 2 xmax Δk = Δk Mc′ ( yk ) xmax
  59. 59. 非均匀量化器等价于CQ 2 xmax Δk =则高码率下量化误差为 Mc′ ( yk ) 1 Mσ q = ∑ f X ( yi ) Δ i3 2 12 i =1 3 1 M ⎛ 2 xmax ⎞ = ∑ f X ( yi ) ⎜ ⎟ 12 i =1 ⎝ Mc′ ( yi ) ⎠ xmax M f X ( yi ) 2 xmax 2 2 ∑ = 3M i =1 c′2 ( yi ) Mc′ ( yi ) xmax M f X ( yi ) 2 2 ∑ = Δi 3M i =1 c′ ( yi ) 2
  60. 60. 非均匀量化器等价于CQ xmax M f X ( yi ) 2 2 ∑当 Δ ii 很小时, σq =2 Δi 3M i =1 c′ ( yi ) 2可以写成 xmax xmax f X ( x ) 2 2 ∫− x σq =2 dx max c′ ( x ) 2 Bennet积分 3M 量化失真取决于信源序列的pdf 但同时也告诉我们如何去除该相关 xmax定义 c′ ( x ) = , α为常数 α x则Bennet积分变为 xmax α 2 xmax 2 2 α2 2σq = ∫− xmax x f X ( x )dx = 3M 2 σ x 2 2 2 3M xmax
  61. 61. 非均匀量化器等价于CQ α2则SNR为 σq = 2 2 σx 2 3M σ 2 SNR = 10log10 = 10log10 ( 3M 2 ) − 20log10 α x σ 2 q与输入信源的pdf无关 xmax 只要压扩函数满足 c′ ( x ) = α x ,无论输入信源的方差是多少,SNR保持不变 —— 很 有吸引力的结论!但 MSQE并不与输入方差独立 同时记住结论成立条件:只有当输入方差较小时,关 于pdf在量化区间内为常数的假设成立
  62. 62. 非均匀量化器等价于CQ xmax 在满足假设条件的情况下,压扩函数满足 c′ ( x ) = x α x 则 c ( x ) = xmax + β log , β 为常数 xmax 当x很小时,压扩函数输出较大 所以实际应用中,在原点附近用线性函数,离原点较远处用log函数 在电话通信中常用的两个压缩函数:A-律和 μ − 律μ 律: F ( x) = ln(1 + μ x) , μ = 255 ln( μ x) ⎧ Ax ⎪ 1 − ln x 0 ≤ x ≤ 1 A ⎪A律:F ( x) = ⎨ , A = 87.6 ⎪ 1 + Ax 1 A < x ≤ 1 ⎪1 + ln A ⎩
  63. 63. 熵编码量化器量化的三个部分 选择决策边界 选择重构水平 选择码字已经讨论:给定M个重构水平,求使MSQE最小的量化器,区间所有固定码率编码: 2 M 比特 log现在讨论另一个问题:用码率衡量量化的性能 考虑边界的选择会影响码率,重新设计量化器(熵约束量化器) 采用同样设计的量化器(Llyod-Max量化器),对索引用变长码编码
  64. 64. Llyod-Max量化器输出的熵编码Output entropies in bits per samples for minium mean squared error quantizes Number of Gaussian Laplacian Levels Uniform NonUniform Uniform NonUniform 4 1.904 1.911 1.751 1.728 6 2.409 2.442 2.127 2.207 8 2.759 2.824 2.394 2.479 16 3.602 3.765 3.063 3.473 32 4.449 4.730 3.779 4.427低码率情况下,定长码与熵编码之间的差异并不大高码率情况下,定长码与熵编码之间的差异增大 Laplacian分布的32水平均匀量化器,定长码需5比特,熵编码只需3.779比特且定长码与均匀量化输出熵编码之间的差异大于定长码与非均匀量化输出熵编码之间的差异 非均匀量化器在大概率区域步长小,在小概率区域步长大 使得每个区间 的概率相近 增大非均匀量化输出的熵分布越接近均匀分布,上述差异越小
  65. 65. 熵约束量化器 (Entropy-constrained Scalar quantizer, ECSQ) 用量化器输出的熵作为码率的度量 对量化索引用熵编码技术编码 量化器输出的熵定义为 M H ( Q ) = −∑ pi log pi , pi = ∫ f X ( x ) dx bi bi −1 i =1 所以重构水平的选择不影响码率 但决策边界既影响失真,也影响码率P. A. Chou, T. Lookabaugh, R. M. Gray, “Entropy-constrained vector quantization,” IEEETrans. Signal Processing, vol. 37, no. 1, pp. 31-42, Jan 1989
  66. 66. 熵约束量化器给定: 码率限制:H ( Q ) ≤ R0求: {bi}, {yi}和二进制码字使得: σq2最小用Lagrange费用函数: J (λ ) = σ + λ H (Q ) 2 q 太复杂,不能直接求解 用迭代法求解
  67. 67. 熵约束量化器J (λ ) = σ q + λ H (Q ) 2在最小化 J ( λ )中 λ 的作用 较大的 λ H ( Q ) 的权重更大 只保留较小的熵 H ( Q ) 随着λ 的增加减小 可以用二分法求解最佳的 λ ,使得 H ( Q ) = R H (Q )
  68. 68. ECSQ算法(二重循环)1. 选择一个初始的 λ ≥ 0 (外层循环,控制码率)2. 初始化所有的 yi , pi , 令 j = 1, D0 = ∞ (里层循环) yi + yi +1 log pi log pi +13. 计算决策边界:bi = −λ 2 2( yi − yi +1 ) bi4. 更新所有的 yi : i = by ∫bi−1 xf ( x)dx ∫bi−1 f ( x)dx i bi5. 更新 pi : i = ∫ f ( x)dx p bi −16 . 计算MSE: M D j = ∑ ∫ ( x − yi ) f ( x ) dx bi 2 bi−1 i =17. 若( D j −1 − D j ) MD j −1 < ε ,转第8步;否则 j = j + 1 ,转第3步8. 若 H ( Q ) = −∑ pi log pi ∉ [ R − τ , R] ,调整λ ,转第2步 i =1
  69. 69. 例: ECSQ算法的应用(I)X为0均值,1方差的高斯分布,即 X ~ N ( 0,1)设计一个 R ≅ 2的ECSQ,使得期望失真 D* 最小 11个区间([-6,6]内):几乎是均匀 D* = 0.09 = 10.53dB, R = 2.0035 定长编码:D* = 0.12 = 9.30 dB f ( x)
  70. 70. 例: ECSQ算法的应用(I)所有的实验中使用相同Lagrange乘子 λ初始化A:初始化为15个均匀区间 初始化A:初始化为4个均匀区间
  71. 71. 例: ECSQ算法的应用(II)X为0均值,1方差的Laplacian分布设计一个 R ≅ 2的ECSQ ,使得期望失真 D*最小 21个区间([-10,10]内),几乎是均匀的 D* = 0.07 = 11.38dB f ( x)
  72. 72. 例: ECSQ算法的应用(II)所有的实验中使用相同Lagrange乘子λ初始化A:初始化为25个均匀区间 初始化A:初始化为4个均匀区间费用的收敛速度比决策边界收敛得更快
  73. 73. H. Gish and J. N. Pierce, “Asymptotically. efficient quantizing,” IEEE Trans. Inform. Theory,. vol. IT-14, pp. 676-683, Sept. 1968. 高码率下ECSQ的性能 对MSQE失真和高码率,均匀量化器(紧跟熵编码)是最 佳的[Gish, Pierce, 1968] 在高码率下, 每个量化区间内pdf近似为常数,量化器输 出的熵: f X ( x ) dx = f X ( yi ) Δ i bi pi = ∫ bi −1 M M H ( Q ) = −∑ pi log pi = −∑ f X ( yi ) Δ i log ( f X ( yi ) Δ i ) Δk = 2 xmax i =1 i =1 Mc′ ( yk ) M M = − ∑ f X ( yi ) log ⎡ f X ( yi ) ⎤ Δ i − ∑ f X ( yi ) log [ Δ i ]Δ i ⎣ ⎦ i =1 i =1 M M ⎡ 2 xmax M ⎤ = − ∑ f X ( yi ) log ⎣ f X ( yi ) ⎦ Δ i − ∑ ⎡ ⎤ f X ( yi ) log ⎢ ⎥Δ i i =1 i =1 ⎣ c′ ( yi ) ⎦
  74. 74. H. Gish and J. N. Pierce, “Asymptotically. efficient quantizing,” IEEE Trans. Inform. Theory,. vol. IT-14, pp. 676-683, Sept. 1968. 高码率下ECSQ的性能 当 Δ i 较小时, M M ⎡ 2 xmax M ⎤ H ( Q ) = − ∑ f X ( yi ) log ⎣ f X ( yi ) ⎦ Δ i − ∑ ⎡ ⎤ f X ( yi ) log ⎢ ⎥Δ i i =1 i =1 ⎣ c′ ( yi ) ⎦ ⎡ 2 xmax M ⎤ = − ∫ f X ( x ) log f X ( x ) dx − ∫ f X ( x ) log ⎢ ⎥dxh( X ) ⎣ c′ ( x ) ⎦ ⎡ 2 xmax ⎤ = − ∫ f X ( x ) log f X ( x ) dx − log ⎢ ⎥ + ∫ f X ( x ) log c′ ( x )dx ⎣ M ⎦
  75. 75. 高码率下ECSQ的性能 ⎡ 2 xmax ⎤H ( Q ) = − ∫ f X ( x ) log f X ( x ) dx − log ⎢ ⎥ + ∫ f X ( x ) log c′ ( x )dx ⎣ M ⎦令 g = c′ ( x ) , 2 xmax fX ( x) dx, J ( λ ) = σ q + λ H ( Q ) xmaxσq = ∫ 2 2 3M 2 − xmax c′2 ( x )则 ∂J ( λ ) ⎡ 2 xmax −3 2 −1 ⎤ = ∫ f X ( x ) ⎢ −2 g + λ g ⎥ dx = 0 ∂g ⎣ M 2 ⎦所以 ⎡ 2 xmax −3 2 −1 ⎤ 2λ xmaxf X ( x ) ⎢ −2 2 g + λg ⎥ = 0 ⇒ g = =K ⎣ M ⎦ 3 M
  76. 76. 高码率下ECSQ的性能g ( x ) = c′ ( x ) = K所以 c ( x ) = Kx + α如果使用边界条件 c ( 0 ) = 0, c ( xmax ) = xmax得到 c ( x ) = x即对应的压扩量化器为均匀量化器即高码率下,最优量化器为均匀量化器将该压扩函数代入 xmax xmax f X ( x ) 2 2 xmax 2 ∫− xσq = 2 dx = max c′ ( x ) 2 3M 3M 2 2 xmax所以 J ( λ ) = h ( X ) − log M
  77. 77. 高码率下ECSQ的性能 码率为 R ≈ H ( Q ) = − ∫ f X ( x ) log f X ( x ) dx − log ⎡ 2 xmax ⎤ ⎢ M ⎥ ⎣ ⎦ = h ( X ) − log Δ ⇒ Δ ≈ 2h( X )− R 失真-码率函数为 2 xmax 1 2 1 2 h( X ) −2 R D ( R) ≅ σ q ( R) = 2 2 = Δ ≈ 2 2 3M 12 12 1 2 h( X ) −2 R π e 为Shannon下界 D ( R ) = 2 2 的 ,即 2π e 6 πe10 log10 = 1.53 dB 高码率均匀量化器的SNR与Shannon下界 6 差1.53的dB(对任何平滑pdf)
  78. 78. Gaussian信源的量化器 1 2 h( X ) −2 RD ( R) ≈ 2 2 12 相同码率R下,ECSQ的失真比Lloyd-Max量化器更小
  79. 79. 高码率下量化器的性能 1 2 h( X ) −2 R D ( R) ≈ 2 2高码率下的失真—码率函数: 12 D ( R ) ≅ ε 2σ X 2−2 R 2缩放因子ε 2 ,对均匀分布、Laplacian分布和高斯分布,分别为: ε 2 = 1, 9 2, 3π 2 = 2.721
  80. 80. Deadzone Midtread Quantizer0附近的箱子大小为其余箱子的两倍,其他箱子仍使均匀的产生更多的0对图像/视频很有用
  81. 81. 嵌入式量化器动机:可伸缩(scalable)解码 随着比特流的解码,渐近地精化重构数据 对低带宽连接有用 是JPEG2000的一个关键特征嵌套量化:低码率器的区间被再分割,以产生更高码率的量化器可以通过截断量化索引获得较粗燥的量化
  82. 82. 例1:均匀量化器
  83. 83. 例2:Deadzone quantizer假设deadzone量化器的量化区间的索引用4个比特表示如果收到了所有4个比特 步长为 Δ如果只收到了前3个比特 步长为 2Δ如果只收到了前2个比特 步长为 4Δ
  84. 84. 作业第9章: Sayood 3rd, pp. 270-271 3, 6

×