[发明专利]处理视频图像的方法

说明书

本申请是2002年12月16日提交的、申请号为02825191.1、发明名称为《跳过宏块编码》的发明专利申请的分案(该分案于2008年11月20日提交的，申请号为200810176684.5、发明名称为《处理视频图像的方法》)的分案申请。

技术领域

描述了用于在视频编码/解码应用中对二进制信息进行编码/解码的技术和工具。例如，视频编码器对跳过宏块信息进行编码。

背景技术

数字视频消耗大量的存储和传输容量。典型的原始数字视频序列每秒包括15或30帧。每一帧能够包括几万或几十万个像素(也称为pel)。每一像素表示图像的一个微小元素。在原始的形式中，计算机通常用24比特来表示一个像素。由此，典型的原始数字视频序列的每秒的比特数，或比特率可以是500万比特/秒或更高。

大多数计算机和计算机网络缺乏处理原始数字视频的资源。鉴于此原因，工程师使用压缩(也称为译码或编码)来降低数字视频的比特率。在视频的质量不受损害但比特率的降低受视频的复杂性限制的情况下，压缩是无损的。或者，在视频的质量受损害但比特率的降低更显著的情况下，压缩是有损的。解压缩倒转了压缩。

一般来说，视频压缩技术包括帧内压缩和帧间压缩。帧内压缩技术压缩单个的帧，通常称为I帧或主帧。帧间压缩技术在压缩帧时参考前帧和/或后帧，通常称为预测帧、P帧或B帧。

微软公司的Windows Media Video，版本7[“WMV7”]包括视频编码器和视频解码器。WMV7编码器使用帧内和帧间压缩，WMV7解码器使用帧内和帧间解压。

A.WMV7的帧内压缩

图1说明了WMV7编码器中对主帧中像素的块(105)的基于块的帧内压缩(100)。块是一组像素，例如，像素的8×8排列。WMV7编码器将主视频帧拆分为8×8的像素块，并对各单个块，如块(105)应用8×8的离散余弦变换[“DCT”](110)。DCT是一种频率变换，将8×8的像素(空间信息)块转换为8×8的DCT系数块(115)，即频率信息。DCT操作本身是无损或接近无损的。然而，与原始像素值相比较，DCT系数对编码器来说能更有效地用来压缩，因为大多数重要信息集中在低频系数(常规地位于块(115)的左上角)中，并且许多高频系数(常规地位于块(115)的右下角)的值为零或接近零。

编码器然后将DCT系数量化(120)，得到一个8×8的量化DCT系数(125)块。例如，编码器对每一系数应用统一标量量化步长，类似于将每一系数除以同一值并舍入成整数。例如，如果一个DCT系数值是163并且步长为10，则量化DCT系数值为16。量化是有损的。重建的DCT系数值将是160，而非163。由于低频DCT系数往往具有较大的值，量化会导致精度损耗，但不会完全丢失系数的信息。另一方面，由于高频DCT系数的值往往为零或接近零，对高频系数的量化通常导致零值的邻接区域。此外，在某些情况下，高频DCT系数比低频DCT系数更粗糙地量化，导致高频DCT系数的精度/信息的大量损耗。

编码器然后准备8×8的量化DCT系数(125)块来进行熵编码，这是一种无损压缩的形式。确切的熵编码类型根据系数是否是DC系数(最低频率)、顶行或左列中的AC系数(其它频率)或另一AC系数而不同。

编码器将DC系数(126)编码为对相邻的8×8块的DC系数的差分，该相邻块是正在编码的块的相邻的(如，上方或左边)先前已编码的块。(图1示出了帧内相邻块(135)位于正在编码的块的左边。)编码器对该差分进行熵编码(140)。

熵编码器能够将AC系数的左列或顶行编码为对相邻的8×8的块的相应列或行的差分。图1示出将AC系数的左列(127)编码为对相邻(左边)块135的左列(137)的差分。差分编码提高了差分系数具有零值的机率。剩余的AC系数来自量化DCT系数块(125)。

编码器将8×8的预测的量化AC DCT系数块(145)扫描(150)为一维数组(155)，然后使用行程编码(160)的一种变异来对扫描的AC系数进行熵编码。编码器从一个或多个游程/级/最后(run/level/last)表(165)中选择熵码并输出该熵码。

主帧对比特率比预测帧起到更大的作用。在低或者中比特率应用中，主帧经常是性能的关键瓶颈，因此主帧的有效压缩是关键的。