[发明专利]用于图像运动预测的方法、装置及计算机程序产品

说明书

视频处理系统、方法以及计算机程序存储设备协作来提供资源和性能高效的子像素运动搜索操作。使用实时按需计算，相对于图像序列中的另一幅图像提供一幅图像上的子像素位置的近似是可能的。然后，用于为编码过程设置运动矢量的子像素位置可以使用相对于传统技术减少的处理和存储器资源来确定。并且，通过随后对较早标识出的子像素位置执行全编码成本分析并保持对差异的跟踪，可以通过将前述差异应用于后续的图像帧来动态地提高插值精度。

技术领域

本公开涉及在包括视频系统、计算机程序产品和方法的领域内的进步，并特别地涉及在数字视频系统、软件使能的设备和方法中的视频压缩/解压缩。

背景技术

本文提供的“背景”描述是为了一般地呈现本公开的上下文的目的。在该背景部分描述的范围内，由本发明人提供的洞察以及在申请时不能被限定为现有技术的说明书的各方面，既不明示也不暗示地被认作现有技术。

运动图片的实时传输在诸如视频会议、“网络会议”、电视(TV)广播和视频电话之类的多种应用中被采用。

然而，表示运动图片牵涉到大量数字形式的信息，并通过以8位(1字节)表示图片(或图像帧)中的每个图片元素(像素)来描述。对未压缩的视频数据的汇集导致非常大的比特量，并因此，由于有限的带宽而需要大的带宽分配来在传统的通信网络上进行实时传输。

由于连续帧之间的图像中的重大冗余，数据压缩被自由地应用于实时视频传输应用中。然而，数据压缩可能损害图片质量，所以继续做出持续的努力以开发出允许通过带宽有限的资源来实时传输高质量视频的数据压缩技术。

在视频压缩系统中，一个目标是以尽量少的“容量”表示视频信息，其中容量通常是以比特被测量为常数值或比特/时间单位。通过最小化比特，需要被传输的比特量减少了，因此，需要来支持视频数据的实时传输的通信资源的量也减少了。

最常见的视频编码方法是在MPEG*(例如，MPEG 2和MPEG 3)和H.26*(例如，H.263和H.264)标准中描述的。根据这些标准，视频数据在传输前要经历四个主要的过程，即预测、变换、量化和熵编码。

预测过程显著地减少要被传输的视频序列中每帧所需的比特数。它利用序列中的部分与序列中其它部分的相似性。解码比特流的解码器具有辅助解码过程的边信息(sideinformation)。该边信息对编码器和解码器都是已知的，所以只有差异需要被传输。通常，这一差异需要比完整图像少得多的容量来对其进行表示。该预测的运动估计方面主要基于来自先前重建的图片的图片内容，其中内容的位置是由运动矢量定义的。尽管块的大小可能变化，但是预测过程通常是对方形块大小(例如，16×16像素)执行的。

在典型的视频序列中，当前块“M”的内容会类似于先前解码的图片中相应的块。如果自先前解码的图片起没有变化出现(即，新帧内的图像与前一帧内的图像相同)，则“M”的内容将等于该先前解码的图片中的相同位置的块。在其它情况中，图片中的对象可能在帧之间被移动，从而使得M的内容更类似于先前解码的图片中的不同位置的块。这样的运动由运动矢量(V)表示。作为示例，运动矢量(3；4)表示M的内容自先前解码的图片向左移动了3个像素并向上移动了4个像素。为提高精度，该矢量也可以包括需要在像素间插值的小数。

在H.262、H.263、MPEG 1、MPEG 2中，该同一概念被扩展从而使得运动矢量也可以取1/2像素值。那么，矢量分量5.5意味着运动是相对于5和6像素之间的中点的。更具体地，预测是通过在表示运动5的像素和表示运动6的像素之间取平均值而得到的。由于对2个像素进行操作，这一预测按照惯例是利用2-抽头滤波器执行的，以得到对该两个像素之间的像素的预测。由于滤波器操作能够由脉冲响应定义，因此对2个像素取平均值的操作能够以(1/2，1/2)的脉冲响应表达。类似地，对4个像素取平均值意味着(1/4，1/4，1/4，1/4)的脉冲响应。

取平均值的目的是以1/2像素的精度定义图片内容的运动，这与只对整数像素进行操作的编码器相比提供了改进的编码效率。