[发明专利]高灵活变尺寸块变换

说明书

技术领域

本发明属于数字视频压缩领域，具体涉及到视频信号帧间预测残差的变尺寸块变换。

背景技术

数字视频是通过对时域和空域连续的自然场景进行时域和空域连续采样所得。如图1所示，数字视频由一系列时域上的视频帧所组成，每个视频帧表示自然场景在某个时间的空域采样，它由二维均匀采样的视觉像素组成。每个像素由一系列描述像素亮度和色彩的数字组成，在视频编码中，最广泛被使用的格式是YUV格式，这种格式中，每个像素由一个亮度分量Y，两个色差分量U和V组成，一般对U和V分量水平和垂直方向各进行一次下采样，这样每相邻的4个像素共用1个U和1个V分量，这就是YUV4：2：0格式。

最广泛被使用的视频编码技术是块基混合运动补偿DCT变换视频编码技术，其中最有代表性的是MPEG和VCEG正在联合制定的国际标准HEVC。如图2所示，HEVC编码器首先把输入帧被劈分成一个个NxN（其中N为2的幂次，其最小为8，最大可以到64）的块，称为最大编码单元（LCU），然后从左到右，从上到下依次对LCU进行编码。在HEVC中，基本的预测-变换-编码单位称为编码单元（CU），对于一个大小为2Nx2N的LCU，可以把它作为一个CU直接进行预测-变换-编码，也可以把它以四分树的方式劈分为4个大小为NxN的单元进行预测-变换-编码，而对于每个NxN的单元，它也既可以作为一个CU进行预测-变换-编码，也可以继续以四分树的方式劈分为4个更小的单元进行编码。图3所示既是一个LCU的编码劈分图，图中LCU被劈分为4个等尺寸CU，而4个CU中的第一个、第三个和第四个又分别进行了继续的劈分。CU最小为8x8，最大可以和LCU等尺寸。对每个待编码的CU，首先从已编码的重构帧中计算出一个对当前块的预测，并与当前块相减，残差依次执行DCT变换、量化，然后反量化、反DCT变换得到重构宏块，存入重构帧序列中，用于对其后编码的CU产生预测信号。由于精确的DCT变换是浮点变换，所以实际中一般用DCT变换的整数近似或者KLT变换的整数近似来代替。

CU的预测有2种，第一种是帧内预测，即只使用当前编码帧的已重构的像素对当前CU进行预测。当前最流行的帧内预测技术是帧内方向预测技术。帧内方向预测直接以CU为单位进行。HEVC中所使用的角度帧内预测如图4所示。图4所示白色黑框块是当前编码CU，左边和上边的灰色条带是当前CU左上的已重构像素，他们用来生成当前CU的预测信号。每一个帧内方向预测模式说明一个当然的预测方向，对于如图4所示编码CU中的某一行或某一列（用竖状网格表示），根据预测方向找到左上重构块中的相应的像素，如图4中黑色像素块所示，作为当前行或列的预测。图4右侧所示的列预测因为左边靠上的重构像素不存在，所以在实际的预测开始前，需要根据当前预测方向从当前块上边的重构像素根据当前帧内预测方向映射过去，如图5所示。在HEVC中共有33种不同的方向预测模式，如图6所示。

CU的第二种预测是帧间预测，这时当前块的预测从时域上在当前帧前或当前帧后的重构帧中的选取。在HEVC中，预测以预测单元（PU）为基本单位。一个2Nx2N大小的CU有4种PU划分模式，它既可以作为单一的PU执行运动补偿，也可以分割成几个PU分别执行不同的运动补偿，如图7所示。对于一个任意形状的PU，运动补偿过程如图8、图9、图10和图11所示。显示时间为t的帧是当前编码帧，黑色块是当前编码块。显示时间为t-t0、t-2*t0、t+t0帧是重构帧，其中具有点状边界的灰色块是与当前编码块同一空域位置的块。显示时间为t-t0、t-2*t0、t+t0帧都可以作为当前编码块的预测。在图8中，运动向量MV0指向当前块的前向预测块BLK0。在图9中，运动向量MV1指向当前块的后向预测块BLK1。在图10中，运动向量MV指向当前块的前向预测块BLK0，MV的反方向指向后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测。在图11中，运动向量MV0指向当前块的前向预测块BLK0，运动向量MV1指向当前块的后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测。在前向预测、后向预测和对称预测中，只有一个运动参数（包括运动向量和参考图像）需要编码，而在双向预测模式中，2个运动参数需要编码。对于每种时域补偿模式，编码器通过率失真优化的运动估计过程得到最优的运动参数，并将其编入码流。