标量量化

第九章标量量化
量化：最简单、最重要的有失真编码

量化问题
各种量化方法
固定码长的均匀量化
均匀分布
已知pdf的非均匀分布
未知/变化分布
pdf最优的非均匀量化
压扩量化
熵约束量化
应用

量化
量化：用一个很小的集合表示一个大集合（可能是无限
大）的过程
如：给定信源为[-10.0, 10.0]之间的实数
量化：Q(x) = ⎣x+0.5⎦
[-10.0, -10.0] {-10, -9, …, -1, 0, 1, 2, …, 9, 10}
失真： 2.95， 3.16， 3.05 3
量化是有失真压缩的一个有效工具
原始数据模型参数量化符号压缩码流
建模表达二次量化无失真编码

① ② ③

对模拟信号，量化还包括A/D转换中的一次量化

量化过程
两个方面
编码器映射
将一个范围内的值映射成一个区间，每个区间用唯一码字表示
若信源是模拟的 A/D 转换器
有关信源的知识有助于选择合适的范围
解码器映射
将码字映射成某个范围内的一个值
如果输出为模拟的 D/A 转换器
信源分布的知识有助于选择较好的近似
量化器 = 编码器 + 解码器

例：量化

3比特量化器

量化器的输入输出映射

量化器 = 编码器 + 解码器

量化问题形式化描述

输入：
X –随机变量
fX(x) – 概率密度函数 (pdf)
输出：
{bi}i=0..M 决策边界
{yi}i=1..M 重构水平
满足率失真准则
离散过程通常用连续分布近似
如：对像素差分用Laplacian建模
若信源无界，则第一个/最后一个边界 = ±∞

量化误差
Q ( x ) = yi iff bi−1 < x ≤ bi

均方量化误差(Mean squared quantization error, MSQE )
∞
σ =∫ ( x − Q ( x )) f X dx
2 2
q
−∞
M bi 1
= ∑ ∫ ( x − yi ) f X dx
2

bi−1
i =1

量化误差亦称为
量化噪声
量化失真

量化问题形式化描述 (2)
比特率 w /定长度码字
R = ⎡log2M⎤， M为量化器输出的数目
如：M = 8 R=3
量化器设计问题
给定：
输入pdf fX(x) 和 M
求：
决策边界 {bi}
重构水平{yi}
使得：
MSQE 最小

比特率 w /变长码字
R 取决于决策边界
例：

R = ∑ i=1 li P( yi )
M

bi
P ( yi ) = ∫ f X ( x )dx
bi−1

bi
R = ∑ i=1 li ∫
M
f X ( x )dx
bi−1

码率最优形式化描述失真最优化形式化描述
给定：给定：
失真限制σq2 ≤ D* 码率限制 R ≤ R*

求：求：
{bi}, {yi}和二进制码字 {bi}, {yi}和二进制码字
使得：使得：
R 最小 σq2 最小

均匀量化
所有区间大小相同
边界为等间隔分布，空间大小均为Δ
除了最外面两个区间
重构
通常选择区间中点
中升(Midrise )量化器
0 不是一个输出水平
中平(Midtread)量化器
0 是一个输出水平

均匀量化（Midrise）
bi , yi 在空间上均匀分布，空间均为 Δ
对内部区间，yi = 1 2 ( bi −1 + bi )

yi

xi

共有偶数个重构水平最外部的两个重构水平内部
0不是一个重构水平仍是一个步长大小

均匀量化（Midtread）

yi

xi

均匀分布的均匀量化
—以Midrise量化器为例
输入：均匀分布的信源Uniform [ − X max , X max ] : f X ( x) = 1 2 X max
输出：M个水平的均匀量化器（对Midrise量化，M为偶数）
步长： = 2X max M
Δ
2i − 1 ⎞ Δ2
2
⎛
M 2
iΔ 1
失真： q = 2 ∑
σ2
i =1
∫(i−1) Δ ⎜ x − 2 Δ ⎟ 2 X max dx = 12
⎝ ⎠

均匀分布的均匀量化
x − Q ( x)
若考虑量化误差
q = x − Q ( x)
q ∈ [ − Δ 2, Δ 2]
量化误差也是均匀分布： f Q ( q ) = 1 Δ
σ q = Δ 2 12 σ s2 = ( 2 X max ) 12
2 2
所以q的方差为
则信噪比为 ⎛ ⎞
⎜
⎛ σ s22 ⎞ ⎛ ( 2 X max )22 12 ⎞ ( max 2 12 ⎟
2 X max )
2

SNR(dB) = 10log10 ⎜ 22 ⎟ = 10log10 ⎜
10 ⎜
s max
⎟ = 10log10 ⎜ ⎟
⎟ 10 ⎜ 2⎟ ⎜ 12 ⎛ 2 X ⎞ 2⎟
⎝ σ qq ⎠ Δ ⎠
2 10 2
⎝ 12 ⎜ ⎟ ⎟
max
⎜
max

⎝ ⎝ M ⎠ ⎠
= 10log10 (M 22) = 20log10 (2nn) = 6.02n dB
10 10

若 n → n + 1 ，则步长减为一半，噪声方差减为1/4，SNR增加6 dB

例：8 1, 2, 3 bits/pixel

1 比特量化：
[0, 127] 64
[128, 255] 196

2 比特量化： 3 比特量化
边界：{[0, 64, 128,
196, 255}
重构水平{32, 96,
160, 224

变暗、只保留轮廓

非均匀分布的均匀量化器
例非均匀分布：x ∈ [-100, 100], P(x ∈ [-1, 1]) = 0.95
问题
设计一个 8水平的量化器
若采用最简单的方法，步长为25，则
95%的样本（[-1， 1]）被两个数字表示：
-12.5 和 12.5
最小QE <= 11.5
最大 QE= 12.5
考虑另一个方案
步长 = 0.3
最大QE = 98.5，但是95%的时间 QE < 0.15

最优化 MSQE
M 2 −1
2i − 1 ⎞
2
iΔ ⎛
σq = 2 ∑
2
∫(i−1) Δ ⎜ x − 2 Δ ⎟ f X ( x ) dx
i =1 ⎝ ⎠
M −1 ⎞
2
∞ ⎛
+2 ∫ x− Δ ⎟ f X ( x ) dx
2 −1) Δ ⎜
(M
⎝ 2 ⎠

对特定的pdf，可数值求解

∂σ q
2 M 2 −1
⎛
iΔ 2i − 1 ⎞
= − ∑ ( 2i − 1) ∫ x− Δ ⎟ f X ( x ) dx
∂Δ ( i −1) Δ ⎜
i =1 ⎝ 2 ⎠
∞ ⎛ M −1 ⎞
− ( M − 1) ∫ x− Δ ⎟ f X ( x ) dx = 0
( M 2 −1) Δ ⎜
⎝ 2 ⎠

例：最佳步长

0附近pdf越大，步长越小
SNR与比特数的关系与6.02n相差越远

3比特中升量化器的QE

最外部的两个重构水平内部，
Δ
最大量化噪声仍是
2

M 2 −1
iΔ ⎛ 2i − 1 ⎞
过载/粒状区域
2

σq = 2 ∑
2
∫(i −1) Δ ⎜ x− Δ ⎟ f X ( x ) dx 粒状噪声↑
i =1 ⎝ 2 ⎠
Δ↑
M −1 ⎞
2
∞ ⎛
+2∫ x− Δ ⎟ f X ( x ) dx 过载噪声 ↓
2 −1) Δ ⎜
(M
⎝ 2 ⎠

max granular value
负载因子： ll =
f , fll = 4 → "4σ loading "
stdev

方差不匹配的影响
当输入方差小于假定方差，SNR下降很快
MSQE减小，因为过载噪声减小
但是由于输入方差小，SNR中的信号/噪声比率减小很快

当输入方差大于假定方差
MSQE相应增大，
但是由于输入信号的能量增大，信号/噪声比率减小很慢

输入信源：Gaussian，均值为0， x2 = E ( X 2 )
σ
4比特Gaussian均匀量化器

方差不匹配的影响(2)

输入信源：Gaussian，均值为0， x2 = E ( X 2 )
σ
4比特Gaussian均匀量化器

分布不匹配的影响

8水平量化器，SNR

设计的步长逐渐比“正确的”步长大，性能下降很快
（类似方差比预计的方差小）

自适应量化器
思想
不是静态方法，而是与真实数据相适应
均值、方差、pdf
前向自适应 (离线)
将信源分块
分析块的统计特性
设置量化方案
边信道（Side channel）
后向自适应 (在线)
基于量化器输出自适应
无需边信道

前向自适应量化器（ FAQ ）
选择块大小
太大
分辨率不够，不能抓住输入的编变化
延迟增大
太小
需要更多边信息
假设均值为0
方差估计
N −1
1
σ =
2
ˆ
q
N
∑ 2
xn +i
i =0

例：语音量化
16比特 3比特定长码

失真较大

例：语音量化（2）
16比特 3比特FAQ
块大小：128个样本
8比特方差量化

失真较小

红色区域还有提
升空间

改进的FAQ
迄今为止，我们假设均匀pdf
改进
假设均匀pdf，但
记录每块的最大/最小值
例： Sena图像
8×8 块
3比特量化
16
共： = 0.25 bits/pixel
8×8

例：改进的FAQ

原始图像： 8bits/pixel 量化： 3.25 bits/pixel

后向自适应量化器（ BAQ ）
观察
解码器只能看到量化器的输出
只能根据量化器输出进行自适应

问题
只根据输出，如何减少不匹配信息
如果知道pdf，这是可能的…
…耐心：观察长时间的量化器输出，推测是否发生了
不匹配现象
如果匹配，落入某区间的概率与预定的pdf一致，否则，发生
了匹配现象
如果步长比应有的步长小，输入落入外侧区间的数目偏大；相
反，输入落入内侧区间的数目偏大

Jayant 量化器
思想：
如果输入落入外边的输出水平
增大量化步长
如果输入落入里边的输出水平
缩短量化步长
如果匹配，则增大和缩短的乘积应为1
乘子： k
M
如果 S n −1 输入落入第k个区间，则步长乘以 M k
Δ n = M k Δ n −1
内部： k < 1, 外部： k > 1
M M

前一个输出在编码器和解码器端的都可见，无需发送边信息

3比特Jayant 量化器输出水平

M 0 = M 4 , M1 = M 5 , M 2 = M 6 , M 3 = M 7

例：Jayant量化器
M 0 = M 4 = 0.8, M 1 = M 5 = 0.9
M 2 = M 6 = 1.0, M 3 = M 7 = 1, 2, Δ 0 = 0.5
输入：0.1 -0.2 0.2 0.1 -0.3 0.1 0.2 0.5 0.9 1.5

当输入变化较慢时，量化器可与输入很好适应：语音、图像

选择Jayant乘子
防止上溢/下溢： Δ min Δ max
乘子的选择对适应性影响大：乘子离1越远，越适应，但
太适应会导致不稳定
M

∏ M knk = 1
k =0
平稳性准则：
一旦量化器与输入匹配，
M

∏M
k =0
nk N
k =1 增大和缩短的乘积为1

M

∏M
k =0
k
pk
= 1, 其中pk = nk N

M k = γ lk , 其中γ lk > 1, lk = ⎢lk ⎥
⎣ ⎦ γ 越大，适应快；γ 较小，稳定性好
M M

∏γ
k =0
lk pk
=1 ⇒ ∑l
k =0
k pk =0

例：Jayant

2比特量化器图中结果为γ 接近1
输入：0、1 γ 越大，适应快，振铃效应减弱

非均匀量化
均与量化器只对均匀分布信源是最佳的
对给定的M，为了减小MSQE，我们应该在概率 f X ( x ) 较大
时缩小步长，而在 f X ( x ) 较小时增大步长
M
( x − Q ( x ) ) f ( x ) dx = ∑ ∫
∞
( x − yi ) f ( x ) dx
bi
D =σ = ∫
2 2 2
q −∞ bi −1
i =1

Lloyd-Max量化器
亦称为pdf-最佳量化器
M
( x − Q ( x ) ) f ( x ) dx = ∑ ∫ ( x − y ) f ( x ) dx
∞ bi
D =σ = ∫
2 2 2
q −∞ bi −1 i
i =1

给定M，最佳的 bi , yi 使得MSQE最小，满足
∂D ∂D
= 0, =0
∂yi ∂bi
bi

∂D
= 0 ⇒ yi =
∫bi −1
xf ( x)dx
∂yi bi
∫bi−1
f ( x)dx

即 yi 为区间 [bi −1 , bi ]的质心。

Lloyd-Max量化器
∂D yi + yi +1
= 0 ⇒ bi =
∂bi 2
即 bi 为 yi 和 yi +1的中点最近邻量化器

Lloyd-Max条件总结：
bi

yi =
∫
bi −1
xf ( x)dx
, bi =
yi + yi +1
bi
∫
bi −1
f ( x)dx 2

特定情况
与均匀量化器的关系：
当为均匀分布 f X ( x) = c 时， Lloyd-Max量化器变为均
匀量化器
bi bi 1 2 2
∫bi−1 xf ( x)dx = c ∫bi−1 xdx = 2 (bi − bi−1 ) = 1 (b + b )
yi = bi i −1
f ( x) dx c(bi − bi −1 ) (bi − bi −1 )
i

∫ bi −1
2

Lloyd-Max算法
最佳量化器的条件：
bi

yi =
∫
bi −1
xf ( x)dx
, bi =
yi + yi +1
bi
∫
bi −1
f ( x)dx 2

给定 bi ，可以计算对应的最佳 yi
给定 y，可以计算对应的最佳 bi
i

问题：如何同时计算最佳的 bi和 yi ？
答案：迭代

迭代Lloyd-Max算法
1. 初始化所有的重构水平 yi , j = 1, D0 = ∞
yi + yi +1
2. 更新所有的决策边界： i =
b
2
3. 更新所有的 yi ：
bi

yi =
∫
bi −1
xf ( x)dx
bi
∫
bi −1
f ( x)dx
M
4. 计算MSE： j = ∑ ∫b ( x − yk ) f ( x ) dx
bi 2
D
i −1
k =1

5. 如果( D j −1 − D j ) D j −1 < ε ，停止；否则 j = j + 1 ，
转第2步

例：Lloyd-Max算法的应用(I)
X为0均值，1方差的高斯分布，即 X ~ N ( 0,1)
设计一个4个索引的量化器，使得期望失真 D* 最小
用Lloyd-Max算法得到最佳量化器
决策边界：-0.98, 0, 0.98
重构水平：–1.51, -0.45, 0.45, 1.51
D* = 0.12 = 9.30 dB f X ( x)

例：Lloyd-Max算法的应用(I)
收敛 D = σ q = 0.12 = 9.30 dB
2

初始化A：决策边界为：–3, 0, 3 初始化A：决策边界为：–1/2, 0, 1/2

在两种情况下，经过6次迭代后， D − D* ( ) D* < 0.1

例：Lloyd-Max算法的应用(II)
X为0均值，1方差的Laplacian分布
设计一个4个索引的量化器，使得期望失真 D*最小
用Lioyd-Max算法得到最佳量化器
决策边界：-1.13, 0, 1.13
重构水平：-1.83, -0.42, 0.42, 1.83

D* = 0.18 = 7.54dB f X ( x)

一个好的预测器输出的预测
误差通常满足0周围高峰值
的分布，如Laplacian分布

例：Lloyd-Max算法的应用(II)
收敛
初始化A：决策边界为：–3, 0, 3 初始化A：决策边界为：–1/2, 0, 1/2

在两种情况下，经过6次迭代后， D − D* ( ) D* < 0.1

更多结果…

Laplacian分布的尾巴更长，外侧步长大；同时，内侧步长小，因为在中心附近概率
Pdf最优量化器比pdf最优均匀量化器的SNR高

Lloyd-Max量化器的性质
1、MeanOutput = Meanintput
2、VarianceOutput ≤ Varianceintput
3、MSQE：
σ q = σ x2 − ∑ y 2 P ( b j −1 ≤ x ≤ b j )
M
2
j
i =1

4、若N为表示QE的随机变量，则
E ( XN ) = −σ q
2

5、量化器输出与QE正交（不相关）
E ( Q ( X ) N | b0 , b1 ,..., bM ) = 0

不匹配的影响

4比特Laplacian 最优量化器

压扩量化
pdf-最优量化器在概率大的区域减小步长，但该
量化器只对特定pdf最优，当处理实际信源时，
pdf可能会变化，这样会发生不匹配现象
自适应

压扩量化采取的是另一种思路
将概率大的区域拉伸，将概率小的区域压缩落入每
个区域的概率大致相等（使概率分布变平坦）用均
匀量化器即可
对pdf变化不敏感

压扩量化
(Companded Quantization, CQ)

Compressor 均匀量化器 Expander

log压扩量化模块图

CQ举例： Compressor
x ∈ [−4, 4], 在区间[−1,1]概率大

CQ等价于非均匀量化器
⎧
⎪ 2x −1 ≤ x ≤ 1
⎪
⎪ 2x 4
c ( x) = ⎨ + x >1
⎪3 3
⎪ 2x 4
⎪ 3 −3
⎩
x < −1

⎧ x
⎪ 2 −1 ≤ x ≤ 1
⎪
⎪ 3x
c −1 ( x ) = ⎨ − 2 x >1
⎪2
⎪ 3x
⎪ 2 +2 x < −1
⎩
x ∈ [−1,1]，量化误差减小，其他区域量化增大

非均匀量化器等价于CQ
如果信源输出为有限大小 xmax ，任何非均匀量化器都可以
用一个压扩量化器表示

先看看高码率（水平的数目很多）量化器的性质
定义 Δ k = bk − bk −1
若码率很高，则每个量化区间会很小，所以可以假设在每
个量化区间输入信源的pdf f X ( x ) 为常数，则
f X ( x ) = f X ( yk ) , if bk −1 ≤ x < bk
M

∑∫ (x − y ) f X ( x ) dx
bi 1
则 σ2 = 2
q i
bi −1
i =1
M
1 M
= ∑ fX ( x) ∫ ( x − yi ) dx = ∑ f X ( yi ) Δ i3
bi 1 2

i =1
bi −1 12 i =1

回到压扩量化
令 c ( x ) 为对称量化器的压扩函数， ′ ( x )为压扩函数的导数
c
当码率很高时，在第k个区间内，压扩函数可用直线近似，
则
( k)
c b −c b
c ′ ( yk ) =
( k −1 )
Δk
而 c ( bk ) − c ( bk −1 ) 恰好是M个水平均匀量化器的步长，因此
2 xmax
c ( bk ) − c ( bk −1 ) =
xmax
M c ( bk )
c ( bk −1 )
代入上式，得到
2 xmax
Δk = Δk
Mc′ ( yk ) xmax

2 xmax
Δk =
则高码率下量化误差为 Mc′ ( yk )

1 M
σ q = ∑ f X ( yi ) Δ i3
2

12 i =1
3
1 M ⎛ 2 xmax ⎞
= ∑ f X ( yi ) ⎜ ⎟
12 i =1 ⎝ Mc′ ( yi ) ⎠
xmax M f X ( yi ) 2 xmax
2

2 ∑
=
3M i =1 c′2 ( yi ) Mc′ ( yi )
xmax M f X ( yi )
2

2 ∑
= Δi
3M i =1 c′ ( yi )
2

xmax M f X ( yi )
2

2 ∑
当 Δ ii 很小时， σq =2
Δi
3M i =1 c′ ( yi )
2

可以写成
xmax xmax f X ( x )
2

2 ∫− x
σq =2
dx
max c′ ( x )
2 Bennet积分
3M
量化失真取决于信源序列的pdf
但同时也告诉我们如何去除该相关
xmax
定义 c′ ( x ) = , α为常数
α x
则Bennet积分变为
xmax α 2 xmax 2
2
α2 2
σq = ∫− xmax x f X ( x )dx = 3M 2 σ x
2
2 2
3M xmax

α2
则SNR为 σq =
2
2
σx
2

3M
σ 2
SNR = 10log10 = 10log10 ( 3M 2 ) − 20log10 α
x
σ 2
q

与输入信源的pdf无关
xmax
只要压扩函数满足 c′ ( x ) =
α x
，无论输入信源的方差是多少，SNR保持不变 —— 很
有吸引力的结论！
但
MSQE并不与输入方差独立
同时记住结论成立条件：只有当输入方差较小时，关
于pdf在量化区间内为常数的假设成立

xmax
在满足假设条件的情况下，压扩函数满足 c′ ( x ) =
x α x
则
c ( x ) = xmax + β log , β 为常数
xmax
当x很小时，压扩函数输出较大
所以实际应用中，在原点附近用线性函数，离原点较远处用log函数
在电话通信中常用的两个压缩函数：A-律和 μ − 律
μ 律： F ( x) = ln(1 + μ x) , μ = 255
ln( μ x)
⎧ Ax
⎪ 1 − ln x 0 ≤ x ≤ 1 A
⎪
A律：F ( x) = ⎨ , A = 87.6
⎪ 1 + Ax 1 A < x ≤ 1
⎪1 + ln A
⎩

熵编码量化器
量化的三个部分
选择决策边界
选择重构水平
选择码字
已经讨论：给定M个重构水平，求使MSQE最小的量化
器，区间所有固定码率编码： 2 M 比特
log

现在讨论另一个问题：用码率衡量量化的性能
考虑边界的选择会影响码率，重新设计量化器（熵约束量化器）
采用同样设计的量化器(Llyod-Max量化器)，对索引用变长码编码

Llyod-Max量化器输出的熵编码
Output entropies in bits per samples for minium mean squared error quantizes
Number of Gaussian Laplacian
Levels Uniform NonUniform Uniform NonUniform
4 1.904 1.911 1.751 1.728
6 2.409 2.442 2.127 2.207
8 2.759 2.824 2.394 2.479
16 3.602 3.765 3.063 3.473
32 4.449 4.730 3.779 4.427

低码率情况下，定长码与熵编码之间的差异并不大
高码率情况下，定长码与熵编码之间的差异增大
Laplacian分布的32水平均匀量化器，定长码需5比特，熵编码只需3.779比特
且定长码与均匀量化输出熵编码之间的差异大于定长码与非均匀量化输
出熵编码之间的差异
非均匀量化器在大概率区域步长小，在小概率区域步长大使得每个区间
的概率相近增大非均匀量化输出的熵
分布越接近均匀分布，上述差异越小

熵约束量化器
(Entropy-constrained Scalar quantizer, ECSQ)
用量化器输出的熵作为码率的度量
对量化索引用熵编码技术编码

量化器输出的熵定义为
M
H ( Q ) = −∑ pi log pi , pi = ∫ f X ( x ) dx
bi

bi −1
i =1

所以重构水平的选择不影响码率
但决策边界既影响失真，也影响码率

P. A. Chou, T. Lookabaugh, R. M. Gray, “Entropy-constrained vector quantization,” IEEE
Trans. Signal Processing, vol. 37, no. 1, pp. 31-42, Jan 1989

熵约束量化器
给定：
码率限制：H ( Q ) ≤ R0
求：
{bi}, {yi}和二进制码字
使得：
σq2最小
用Lagrange费用函数：
J (λ ) = σ + λ H (Q )
2
q

太复杂，不能直接求解
用迭代法求解

熵约束量化器
J (λ ) = σ q + λ H (Q )
2

在最小化 J ( λ )中 λ 的作用
较大的 λ H ( Q ) 的权重更大
只保留较小的熵
H ( Q ) 随着λ 的增加减小
可以用二分法求解最佳的 λ ，使得 H ( Q ) = R
H (Q )

ECSQ算法（二重循环）
1. 选择一个初始的 λ ≥ 0 （外层循环，控制码率）
2. 初始化所有的 yi , pi , 令 j = 1, D0 = ∞ （里层循环）
yi + yi +1 log pi log pi +1
3. 计算决策边界：bi = −λ
2 2( yi − yi +1 )
bi

4. 更新所有的 yi ： i = by
∫bi−1 xf ( x)dx
∫bi−1 f ( x)dx
i

bi
5. 更新 pi ： i = ∫ f ( x)dx
p
bi −1
6 . 计算MSE： M
D j = ∑ ∫ ( x − yi ) f ( x ) dx
bi 2
bi−1
i =1
7. 若( D j −1 − D j ) MD j −1 < ε ，转第8步；否则 j = j + 1 ，转第3步
8. 若 H ( Q ) = −∑ pi log pi ∉ [ R − τ , R] ，调整λ ，转第2步
i =1

例： ECSQ算法的应用(I)
X为0均值，1方差的高斯分布，即 X ~ N ( 0,1)
设计一个 R ≅ 2的ECSQ，使得期望失真 D*
最小
11个区间（[-6，6]内）：几乎是均匀
D* = 0.09 = 10.53dB, R = 2.0035
定长编码：D* = 0.12 = 9.30 dB

f ( x)

例： ECSQ算法的应用(I)
所有的实验中使用相同Lagrange乘子 λ
初始化A：初始化为15个均匀区间初始化A：初始化为4个均匀区间

例： ECSQ算法的应用(II)
X为0均值，1方差的Laplacian分布
设计一个 R ≅ 2的ECSQ ，使得期望失真 D*最小
21个区间（[-10，10]内），几乎是均匀的
D* = 0.07 = 11.38dB

f ( x)

例： ECSQ算法的应用(II)
所有的实验中使用相同Lagrange乘子λ
初始化A：初始化为25个均匀区间初始化A：初始化为4个均匀区间

费用的收敛速度比决策边界收敛得更快

H. Gish and J. N. Pierce, “Asymptotically. efficient quantizing,” IEEE Trans. Inform. Theory,. vol. IT-
14, pp. 676-683, Sept. 1968.

高码率下ECSQ的性能
对MSQE失真和高码率，均匀量化器（紧跟熵编码）是最
佳的[Gish, Pierce, 1968]
在高码率下，每个量化区间内pdf近似为常数，量化器输
出的熵：
f X ( x ) dx = f X ( yi ) Δ i
bi
pi = ∫
bi −1
M M
H ( Q ) = −∑ pi log pi = −∑ f X ( yi ) Δ i log ( f X ( yi ) Δ i ) Δk =
2 xmax
i =1 i =1
Mc′ ( yk )
M M
= − ∑ f X ( yi ) log ⎡ f X ( yi ) ⎤ Δ i − ∑ f X ( yi ) log [ Δ i ]Δ i
⎣ ⎦
i =1 i =1

M M ⎡ 2 xmax M ⎤
= − ∑ f X ( yi ) log ⎣ f X ( yi ) ⎦ Δ i − ∑
⎡ ⎤ f X ( yi ) log ⎢ ⎥Δ i
i =1 i =1 ⎣ c′ ( yi ) ⎦

H. Gish and J. N. Pierce, “Asymptotically. efficient quantizing,” IEEE Trans. Inform. Theory,. vol. IT-
14, pp. 676-683, Sept. 1968.

当 Δ i 较小时，
M M ⎡ 2 xmax M ⎤
H ( Q ) = − ∑ f X ( yi ) log ⎣ f X ( yi ) ⎦ Δ i − ∑
⎡ ⎤ f X ( yi ) log ⎢ ⎥Δ i
i =1 i =1 ⎣ c′ ( yi ) ⎦
⎡ 2 xmax M ⎤
= − ∫ f X ( x ) log f X ( x ) dx − ∫ f X ( x ) log ⎢ ⎥dx
h( X ) ⎣ c′ ( x ) ⎦
⎡ 2 xmax ⎤
= − ∫ f X ( x ) log f X ( x ) dx − log ⎢ ⎥ + ∫ f X ( x ) log c′ ( x )dx
⎣ M ⎦

⎡ 2 xmax ⎤
H ( Q ) = − ∫ f X ( x ) log f X ( x ) dx − log ⎢ ⎥ + ∫ f X ( x ) log c′ ( x )dx
⎣ M ⎦
令 g = c′ ( x ) ，
2
xmax fX ( x)
dx, J ( λ ) = σ q + λ H ( Q )
xmax
σq = ∫
2 2

3M 2 − xmax c′2 ( x )
则
∂J ( λ ) ⎡ 2 xmax −3
2
−1 ⎤
= ∫ f X ( x ) ⎢ −2 g + λ g ⎥ dx = 0
∂g ⎣ M 2
⎦
所以
⎡ 2 xmax −3
2
−1 ⎤ 2λ xmax
f X ( x ) ⎢ −2 2
g + λg ⎥ = 0 ⇒ g = =K
⎣ M ⎦ 3 M

g ( x ) = c′ ( x ) = K
所以
c ( x ) = Kx + α
如果使用边界条件 c ( 0 ) = 0, c ( xmax ) = xmax
得到 c ( x ) = x
即对应的压扩量化器为均匀量化器
即高码率下，最优量化器为均匀量化器
将该压扩函数代入
xmax xmax f X ( x )
2 2
xmax
2 ∫− x
σq =
2
dx =
max c′ ( x )
2
3M 3M 2
2 xmax
所以 J ( λ ) = h ( X ) − log
M

码率为 R ≈ H ( Q ) = − ∫ f X ( x ) log f X ( x ) dx − log
⎡ 2 xmax ⎤
⎢ M ⎥
⎣ ⎦
= h ( X ) − log Δ ⇒ Δ ≈ 2h( X )− R
失真-码率函数为 2
xmax 1 2 1 2 h( X ) −2 R
D ( R) ≅ σ q ( R) =
2
2
= Δ ≈ 2 2
3M 12 12
1 2 h( X ) −2 R π e
为Shannon下界 D ( R ) = 2 2 的，即
2π e 6
πe
10 log10 = 1.53 dB 高码率均匀量化器的SNR与Shannon下界
6
差1.53的dB（对任何平滑pdf）

Gaussian信源的量化器
1 2 h( X ) −2 R
D ( R) ≈ 2 2
12

相同码率R下，ECSQ的失真比Lloyd-Max量化器更小

高码率下量化器的性能
1 2 h( X ) −2 R
D ( R) ≈ 2 2
高码率下的失真—码率函数： 12
D ( R ) ≅ ε 2σ X 2−2 R
2

缩放因子ε 2 ，对均匀分布、Laplacian分布和高斯分布，
分别为：
ε 2 = 1, 9 2, 3π 2 = 2.721

Deadzone Midtread Quantizer
0附近的箱子大小为其余箱子的两
倍，其他箱子仍使均匀的
产生更多的0
对图像/视频很有用

嵌入式量化器
动机：可伸缩（scalable）解码
随着比特流的解码，渐近地精化重构数据
对低带宽连接有用
是JPEG2000的一个关键特征
嵌套量化：低码率器的区间被再分割，以产生更
高码率的量化器
可以通过截断量化索引获得较粗燥的量化

例2：Deadzone quantizer
假设deadzone量化器的量化区间的索引用4个比特表示
如果收到了所有4个比特步长为 Δ

如果只收到了前3个比特步长为 2Δ

如果只收到了前2个比特步长为 4Δ

作业
第9章： Sayood 3rd, pp. 270-271
3, 6

标量量化

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to 标量量化

Similar to 标量量化 (20)

More from wtyru1989

More from wtyru1989 (20)

标量量化