[发明专利]用于在一个视频序列中估计运动的方法和系统

说明书

本发明一般性涉及视频编码，尤其涉及在视频编码中使用运动估计。

一个视频序列由时间上抽样的三维即3-D景物在两维即2-D图象平面上的投影构成。发生在这一景物中的3-D运动被捕获为这些投影的2-D位移。一个特定画面的元素即象元在当前2-D图象平面内的位移被由这样的一个向量表示，该矢量指向该特定象元在先前图象平面内的位置。位移矢量场即DVF描述所有象素在一给定图象平面组之间的运动，因此代表物体投影到该图象平面上的3-D运动。

在图象序列处理的许多应用中，一个视频序列中DVF的精确估计是决定性的。视频编码，帧合并，目标跟踪，以及空间-时间运动补偿滤波均是这样一些应用，它们需要DVF精确估计以利用存在于视频序列中的帧间相关。

将数字视频压缩至一个极低比特率即VLBR是通信领域中的一个非常重要的问题。通常，VLBR被认为不超过每秒64k比特(Kbps)，并且与现行的个人通信系统相联系，诸如公用转接电话网和蜂窝系统。为在这些系统上提供象视频点播和电视会议这样的业务，将要求以一个300到1之间的因子压缩包含在数字视频中的信息。为实现如此之大的压缩率要求去除视频序列中现存的所有冗余度。

当前标准，诸如H.261，MPEG1，以及MPEG2利用一个块运动补偿的离散余弦变换，即DCT方法提供数字视频序列的压缩。这种视频编码技术利用一种两步骤过程去除视频序列中现存的冗余度。在第一步中，一个块匹配即BM运动估计与补偿算法估计发生在时间上相邻的两帧之间的运动。随后将估计的运动补偿给这两帧并比较它们以形成一个差值图象。通过取时间上相邻的两个图象之间的差值，存在的所有时间冗余度被去除。剩余的仅有信息是不能够在运动估计与补偿算法中补偿的新信息。

在第二步中，这个新信息被利用DCT变换到频域。该DCT拥有将此新信息的能量紧缩至几个低频分量的功能。通过限制编码高频信息的量获得对该视频序列的进一步压缩。

这一方法所提供的给视频编码的大部分压缩是通过运动估计与补偿算法而获得的。这就是说，与传送有关亮度和色彩的信息相比，传送有关一个视频序列中存在的运动信息将更为有效。运动信息使用从当前亮度帧一个特定位置指向产生于先前亮度帧中同一位置的矢量表示。对于BM，这些位置被预先设定为相同尺寸的非重叠块，假定包含于这些块中的所有象元拥有相同的运动。通过在时间上相邻的先前帧中的一个预先设定的搜寻区域内搜寻一个最佳匹配，找到与视频序列的当前帧中与一个特定块相联系的运动矢量。这个最佳匹配通常使用两个块之间的均方根误差(MSE)或平均绝对值差(MAD)来确定。该运动矢量从当前帧中该块的中心指向先前帧中提供最佳匹配的块的中心。

利用估计的运动矢量，先前帧的一个副本被每个矢量改变以产生当前帧的一个预测。这一运算被称为运动补偿。如以上所述，从当前帧中减去预测帧以产生这样一个差帧，它被DCT变换到空间频域。这些空间频率系数被量化并且被熵编码以提供对原始视频序列的进一步压缩。运动矢量和DCT系数均被传送给解码器，在这里执行逆运算以产生被解码的视频序列。

在一个视频序列中DVF估计是一个极其困难的问题。获得精确估计中之困难的两个主要根源是DVF的不稳定性和该问题的病态性质。该病态是违反Hadamard的良态问题定义造成的，良态问题的特性由解的存在性，解的唯一性，以及解的连续性表征。估计位移场的问题违反所有的这三个特性。在图象序列中运动的物体将遮挡一定的区域并暴露其它的区域；在这些位置上DVF未定义且不存在解。摄影机视野深度的改变和物体畸变将亦可以导致DVF没有定义的区域。对于给定的图象序列，许多位移场可满足有关数据，因此解是不唯一的。连续性亦被违反，这是因为在一些图象序列中即便是局部亮度值的微小修改将能够在位移估计的幅度和/或方向上引起的改变。DVF估计问题是病态的，如果欲得到任何有用的结果则必须计及这一事实。

DVF的不稳定是物体在引起出现在物体边界上的不连续性的景物中沿不同轨道运动造成的，也是这样的一些区域造成的，其中因运动景物被遮挡或暴露的部分而使运动未被定义。DVF的不稳定性意味着其估计中所使用的任何方法必须是自适应的。这就是说，假定稳定性的各种方法将导致DFV的估值中不同方式运动物体之间的边界畸变。这些运动边界的畸变直接导致物体畸变，进而导致差值图象熵增。