H264-变换和量化

在早期的标准中，不同的处理步骤之间有明显的边界，对原始数据（或者残差）进行域变换，然后进行量化降低系数的精度，但是在H264中边界却不明显。为了消除浮点数DCT变换造成的误差累计，使用整数DCT变换，并且将放大系数移到量化阶段进行。

在DCT变换当中，存在有无理数系数。在不同精度的机器上的编码图像和解码图像之间，或者在同一个编码器的重建图像之间，会出现误差漂移和累计。h264通过下面的两个方法解决这个问题：

• 使用核变换，是整数DCT变换，只需要使用整数和定点数运算
• 使用最少的乘法优化量化操作

基本流程

h264标准中定义了反量化，反系数放大和反变换的过程，相应的正变换没有标准化，但是可以从标准中定义的操作中推导出来。

基本变换是整数变换，整数变换是一种经过系数放大和整数近似的DCT变换，对4x4或者8x8的残差数据进行变换。直流系数变换使用哈达玛变换。最后经过系数放大和量化。解码端是这个过程的逆向过程。

亮度分量变换过程

默认处理过程

在除了下面两种情况下都使用默认处理过程。

1. 16 × 16 Intra Prediction
2. High profiles 8 × 8 整数变换

对16x16 残差宏块内每一个4x4 子宏块做core transform Cf4，然后对每一个4x4宏块做Scaling和quantization Mf4，获得量化系数块，量化系数块在生成bitstream时使用标号的顺序。上图容易出现一个错误的理解是，先划分出16x16宏块，让后对内部的4x4块分别进行操作。实际的顺序是对每一个4x4子块进行整个操作，顺序为标号顺序，每一个4x4子块获得量化系数能直接进行反操作，获得重建块用来对下一个字块进行预测。从总体上来看相当于画出16x16块。

逆过程如上图所示。

Intra 16 × 16 mode

如果宏块使用的是16x16帧内预测模式，那么就是用上面的变换过程。使用另外的变换对4x4block中的直流系数进行变换。16x16的残差数据经过划分成4x4block经过整数变换获得变换系数。从16个block中提取出DC系数组成新的4x4数据block，直流系数高度相关对这一部分进行重新编码能获得更好的效果，这里使用4x4哈达玛变换。变换后的DC系数和AC系数一起经过
经过放大和量化，在bitstream中传输顺序如标号所示。
逆过程如下图：

色度分量变换过程

4:2:0 色度分量变换过程

色度分量4:2:0格式下，一个宏块16 x16的亮度sample对应有一个8x 8个C_b数据的宏块和8 x8 C_r数据的宏块。

C_b C_r两个8 x8大小的宏块，每一个划分为4个4*4大小的宏块，经过Cf4 整数变换，获得变换系数block，从两个8 x8 大小的系数block中提取出DC系数分别组成两个2 x 2block 进行DC 哈达玛变换，然后连同AC系数进行Mf4,生成的数据block在bitstream中的排序如上图。

逆过程如下图：

4:2:2 色度分量变换过程

色度分量4:2:2格式下，一个宏块16 x16的亮度sample对应有一个8x16个C_b数据的宏块和8 x 16C_r数据的宏块。

4x4 block的变换和量化

正向变换和量化

从上边的叙述看出主要变换和量化的动作都是基于4x4block的，就是上边的Cf4和Mf4操作。

• (a) 4x4 大小的残差数据，经过4 x 4 二维DCT变换，然后使用Q_step进行量化。
• (b) 将DCT变换重新组织为core transform C_f4和 放大矩阵S_f4
• © 将量化过程放大2¹⁵ , 2¹⁵ 是精确度要求和有限的数字精度的折中。
• (d) 将S_f与量化过程合并获得M_f
  $$M_f=\frac{S_f\ast 2^{15}}{Q_{step}}$$

反向放大和量化过程

这部分是在标准中标准化的部分。

• (a) 逆过程首先乘以量化参数，然后进行4 x4 IDCT.
• (b) 将IDCT 重组为 core transform 反变换C_i 和 反放大系数矩阵S_i ，反放大系数矩阵操作在前。
• © 将量化参数乘以2⁶ 系数，然后在最后进行乘以倒数进行补偿
• (d) 将反放大过程和S_i 组合成V_i 过程。
  $$V_i=Q_{step}\ast 2^6\ast S_i$$

C_f4 和 S_f4的导出

二维离散余弦变换
$$F(u,v)=c(u)c(v)\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}f(x,y)cos\frac{(2x+1)u\pi }{2M}cos\frac{(2y+1)v\pi }{2N}$$

$$c(u)=\{\begin{array}{l}\sqrt{\frac{1}{M}}u=0\\ \sqrt{\frac{2}{M}}u\ne 0\end{array}$$ $$c(v)=\{\begin{array}{l}\sqrt{\frac{1}{N}}v=0\\ \sqrt{\frac{2}{N}}v\ne 0\end{array}$$

4 x 4 变换矩阵为：
$$A=\left[\begin{array}{cccc}\frac{1}{2}& \frac{1}{2}& \frac{1}{2}& \frac{1}{2}\\ \sqrt{\frac{1}{2}}cos\frac{\pi }{8}& \sqrt{\frac{1}{2}}cos\frac{3\pi }{8}& \sqrt{\frac{1}{2}}cos\frac{5\pi }{8}& \sqrt{\frac{1}{2}}cos\frac{7\pi }{8}\\ \sqrt{\frac{1}{2}}cos\frac{\pi }{4}& \sqrt{\frac{1}{2}}cos\frac{3\pi }{4}& \sqrt{\frac{1}{2}}cos\frac{5\pi }{4}& \sqrt{\frac{1}{2}}cos\frac{7\pi }{4}\\ \sqrt{\frac{1}{2}}cos\frac{3\pi }{8}& \sqrt{\frac{1}{2}}cos\frac{9\pi }{8}& \sqrt{\frac{1}{2}}cos\frac{15\pi }{8}& \sqrt{\frac{1}{2}}cos\frac{21\pi }{8}\end{array}\right]$$
令
$$a=\frac{1}{2},b=\sqrt{\frac{1}{2}}cos\frac{\pi }{8}=0.6532...,c=\sqrt{\frac{1}{2}}cos\frac{3\pi }{8}=0.2706...$$
上边的变换矩阵为
$$A=\left[\begin{array}{cccc}a& a& a& a\\ b& c& -c& -b\\ a& -a& -a& a\\ c& -b& b& c\end{array}\right]$$

4 x 4 二维DCT变换可以表示为
$$Y=AX{A}^T$$

由于b 和c 计算机中表示都需要浮点，现在把它乘以2.5后近似到最近的整数。C_f4如下

$$C_{f4}=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& 1\end{array}\right]$$
单位化
$$A_1=C_{f4}\bullet R_{f4},\bullet 表示各元素相乘$$
$$R_{f4}=\left[\begin{array}{cccc}\frac{1}{2}& \frac{1}{2}& \frac{1}{2}& \frac{1}{2}\\ \frac{1}{\sqrt{10}}& \frac{1}{\sqrt{10}}& \frac{1}{\sqrt{10}}& \frac{1}{\sqrt{10}}\\ \frac{1}{2}& \frac{1}{2}& \frac{1}{2}& \frac{1}{2}\\ \frac{1}{\sqrt{10}}& \frac{1}{\sqrt{10}}& \frac{1}{\sqrt{10}}& \frac{1}{\sqrt{10}}\end{array}\right]$$
最后
$$\begin{gathered} Y=(C_{f4}X{C}_{f4}^T)\bullet (R_{f4}\bullet R_{f4}^T) \\ =(C_{f4}X{C}_{f4}^T)\bullet S_{f4} \end{gathered}$$
$$S_{f4}=R_{f4}\bullet R_{f4}^T$$
$$S_{f4}=\left[\begin{array}{cccc}\frac{1}{4}& \frac{1}{2\sqrt{10}}& \frac{1}{4}& \frac{1}{2\sqrt{10}}\\ \frac{1}{2\sqrt{10}}& \frac{1}{10}& \frac{1}{2\sqrt{10}}& \frac{1}{10}\\ \frac{1}{4}& \frac{1}{2\sqrt{10}}& \frac{1}{4}& \frac{1}{2\sqrt{10}}\\ \frac{1}{2\sqrt{10}}& \frac{1}{10}& \frac{1}{2\sqrt{10}}& \frac{1}{10}\end{array}\right]$$

4 * 4 block C_i4 和S_i4的导出

4 x 4 二维IDCT变换可以表示为
$$Z=A^{T}YA$$
令
$$a=\frac{1}{2},b=\sqrt{\frac{1}{2}}cos\frac{\pi }{8}=0.6532...,c=\sqrt{\frac{1}{2}}cos\frac{3\pi }{8}=0.2706...$$
上边的变换矩阵为
$$A=\left[\begin{array}{cccc}a& a& a& a\\ b& c& -c& -b\\ a& -a& -a& a\\ c& -b& b& c\end{array}\right]$$
将浮点数近似到最近的0.5 得到：
$$C_{i4}=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& \frac{1}{2}& -\frac{1}{2}& -1\\ 1& -1& -1& 1\\ \frac{1}{2}& -1& 1& -\frac{1}{2}\end{array}\right]$$
单位化
$$A_2=C_{i4}\bullet R_{i4},\bullet 表示各元素相乘$$
$$R_{i4}=\left[\begin{array}{cccc}\frac{1}{2}& \frac{1}{2}& \frac{1}{2}& \frac{1}{2}\\ \sqrt{\frac{2}{5}}& \sqrt{\frac{2}{5}}& \sqrt{\frac{2}{5}}& \sqrt{\frac{2}{5}}\\ \frac{1}{2}& \frac{1}{2}& \frac{1}{2}& \frac{1}{2}\\ \sqrt{\frac{2}{5}}& \sqrt{\frac{2}{5}}& \sqrt{\frac{2}{5}}& \sqrt{\frac{2}{5}}\end{array}\right]$$
所以有
$$\begin{gathered} Z=A_2^{T}Y{A}_2 \\ Z=(C_{i4}\bullet R_{i4}{)}^T\cdot Y\cdot (C_{i4}\bullet R_{i4}) \\ =C_{i4}^T\cdot (Y\bullet R_{i4}^T\bullet R_{i4})\cdot C_{i4} \end{gathered}$$
得到
$$\begin{gathered} S_{i4}=R_{i4}^T\bullet R_{i4}= \\ \left[\begin{array}{cccc}\frac{1}{4}& \sqrt{\frac{1}{10}}& \frac{1}{4}& \sqrt{\frac{1}{10}}\\ \sqrt{\frac{1}{10}}& \frac{2}{5}& \sqrt{\frac{1}{10}}& \frac{2}{5}\\ \frac{1}{4}& \sqrt{\frac{1}{10}}& \frac{1}{4}& \sqrt{\frac{1}{10}}\\ \sqrt{\frac{1}{10}}& \frac{2}{5}& \sqrt{\frac{1}{10}}& \frac{2}{5}\end{array}\right] \end{gathered}$$

V_i4的导出

$V_{i4}\approx S_{i4}{Q}_{step}{2}^6$
H264支持一组Q step,但是却没有定义在标准中。代之的是V_i4矩阵作为QP的函数表示。
V_i4由Q_step 也就是QP 和S_i4决定。下表列出了qp取0~5时的V_i4的值。

V_i4 对于QP的函数定义如下：
$$\begin{gathered} V_{i4}= \\ \left[\begin{array}{cccc}v(QP,0)& v(QP,2)& v(QP,0)& v(QP,2)\\ v(QP,2)& v(QP,1)& v(QP,2)& v(QP,1)\\ v(QP,0)& v(QP,2)& v(QP,0)& v(QP,2)\\ v(QP,2)& v(QP,1)& v(QP,2)& v(QP,1)\end{array}\right] \end{gathered}$$
表示为$V_{i4}=v(QP,n)$ 其中v(r,n）用一个表来定义r是行号，n是列号, h264中标准中的定义如下：

对于每个QP 对应一个V_i4矩阵。没列的说明列中V_i4 positions 说明的是v(qp,0) 在V_i4矩阵中占据的位置有哪些。使用这个表和V_i4 的定义矩阵就可以得到V_i4 的数值定义表。
QP > 5时 $V_{i4}=v(QP\%6,n)\ast 2^{floor(QP/6)}$
通过给出的V_i4 矩阵可以反推QP_step。 至于h264 中开发人员是先指定的QPstep 还是V_i4，这个过程应该是一个不断的理论加实验的迭代过程。

反推得到的QPstep的值如下图：

连续的QPstep的比例是$\sqrt[6]{2}\approx 1.2246\dots$ 所以QP每增加6，QPstep变为原来两倍。所以所有的QPstep的值都可以从QP0~QP5的值推导得到：
$Q_{step}=Q_{step}(QP\%6,n)\ast 2^{floor(QP/6)}$

完整的反向量化和放大过程

$Z=round(C_{i4}^T\cdot (Y\bullet v(QP\%6,n)\ast 2^{floor(QP/6)})\cdot C_{i4})$
H264标准中的反向量化和放大过程分为下面几步：

1. 计算矩阵的LevelScale
   $LevelScale(QP\%6,i,j)=weightScale(i,j)\ast v(QP\%6,n)$
   这里的weightScale(i,j)的默认值为16，像素位置不同这个可能不同。
2. 放大输入的采样c_ij
   $d_{ij}=(c_{ij}\ast LevelScale(QP\%6,i,j))\ast (QP/6-4),QP>24$
   $d_{ij}=(c_{ij}\ast LevelScale(QP\%6,i,j)+2^{3-QP/6})\ast (4-QP/6),QP<24$
   上面的两步就是完成下边的功能：其中左右移动表示就是除以一个数并向下取整
   $D=Y\bullet v(QP\%6,n)\cdot 2^{floor(QP/6)}$
3. 计算core transform
   $H=C_{i4}^T\cdot D\cdot C_{i4}$
4. 将每一个采样除以2⁶
   $r_{ij}=(h_{ij}+2^5)>>6$
   最后获得矩阵R就是恢复的残差数据

M_f4的推导

根据
$$M_f=\frac{S_f\ast 2^{15}}{Q_{step}}$$
$$V_i=Q_{step}\ast 2^6\ast S_i$$
得到：
$M_{f4}\approx \frac{S_f\bullet S_i{2}^{21}}{V_i}$

$S_f，S_i$都是已知的，$V_i$是在标准中定义的，M_f4的正式计算公式为：
$M_{f4}=round(\frac{S_f\bullet S_i{2}^{21}}{V_i})$
M_f4的分子矩阵为：
$$\begin{gathered} S_{i4}\bullet S_{f4}\ast 2^{21}= \\ \left[\begin{array}{cccc} \\ 131072& 104857.6& 131072& 104857.6\\ 104857.6& 83886.1& 104857.6& 83886.1\\ 131072& 104857.6& 131072& 104857.6\\ 104857.6& 83886.1& 104857.6& 83886.1\end{array}\right] \end{gathered}$$
分母V_i4根据上结给出的，0~5 QP的table如下：

给出M_f4的函数
$$\begin{gathered} M_{f4}= \\ \left[\begin{array}{cccc}m(QP,0)& m(QP,2)& m(QP,0)& m(QP,2)\\ m(QP,2)& m(QP,1)& m(QP,2)& m(QP,1)\\ m(QP,0)& m(QP,2)& m(QP,0)& m(QP,2)\\ m(QP,2)& m(QP,1)& m(QP,2)& m(QP,1)\end{array}\right] \end{gathered}$$
简写为：
$$M_{f4}=m(QP,n)$$
对于QP >5, 更一般的表示为：
$$M_{f4}=m(QP\%6,n)/2^{floor(QP/6)}$$

完整的4x4 正向变换和放大过程

整个过程可以表示为
$$Y=round([C_{f4}\cdot X\cdot C_{f4}^T\bullet m(QP\%6,n)]\cdot \frac{1}{2^{15+floor(QP/6)}})$$

matlab代码

反量化：

function [Wi]= inv_quantization(Z,QP)

% q is qbits
q = 15 + floor(QP/6);

% The scaling factor matrix V depend on the QP and the position of the
% coefficient.
%   delta lambda miu
SM = [10 16 13
      11 18 14
      13 20 16
      14 23 18
      16 25 20
      18 29 23];
 
 x = rem(QP,6);
 
 % find delta, lambda and miu values
 d = SM(x+1,1);
 l = SM(x+1,2);
 m = SM(x+1,3);

 V = [d m d m
      m l m l
      d m d m
      m l m l];
  
 % find the inverse quantized coefficients
  Wi = Z.*V;
  Wi = bitshift(Wi,q-15, 'int64');
 
end

反向整数变换：

function [Y] = inv_integer_transform(W)

a = 1/4;
b = 1/10;
c = sqrt(1/40);

% E is the scaling factor matrix
% Refer to MPEG4-AVC slides (simplified from the H.264 white paper)

E = [a c a c
     c b c b
     a c a c
     c b c b];

 % Ci is the inverse core transform matrix
Ci =  [1 1 1 1
      1 1/2 -1/2 -1
      1 -1 -1 1
      1/2 -1 1 -1/2];

 Y = Ci'*W*Ci;
%  Y = Ci'*(W.*E)*Ci;
 
end