[发明专利]用于非线性的多运动模型和移动边界提取的方法和设备

说明书

本专利申请为2003年11月6日提交的中国专利申请200380103021.6的分案申请。

发明领域

[0001]本发明有关图像处理。更具体而言，本发明涉及图像中的对象运动的估计。

发明背景

[0002]用于视频编码的标准运动模型包括应用于固定区域(运动块)以估计运动的参数的模型。这些方法是有限的，因为所述模型无法处理运动块内部存在多个(不同的)运动的情况。这带来一个问题。

[0003]运动估计中的一个基本问题是处理多运动和移动对象边界的模型的能力。诸如仿射或透视模型之类的标准运动模型考虑到区域(即，运动块)的平滑形变以捕获运动块中的所有像素的相关运动(比如转换、变焦、旋转)。在其上估计运动的区域或块不能选择太小；这是从(1)编码的角度来看的，因为较大的区域意味着较小的运动开销，并且也是从(2)估计的角度来看的，较大的区域允许更好的运动参数的估计。

[0004]从常见运动模型的标准局限性方面出现的一个关键问题是运动块内部的多个运动的出现。运动区域内的移动对象边界是两种可能非常不同的运动(对象的运动以及比方说背景的运动)的象征。此外，移动对象边界暗指一些像素将相对于过去的或未来的运动估计而被遮蔽(occlude)(隐藏)。这种遮蔽效应可能会偏置运动估计，导致较高的预测误差，并且使得难以精确地提取对象边界。

[0005]运动分割方面的方法往往依赖于光流估计或参数的(即，仿射)运动模型；这些将在对象边界附近具有常见问题并且具有遮蔽效应。在分割区段中，且由此在对象边界中的某种平滑度能够利用MAP/Bayesian方法中的先验概率项加以实现。这是在没有任何明确的耦合模型以说明对象边界和运动区段的情况下、分割区段的连通性上的更多约束条件。曲率演变模型可以用来捕获移动对象的边界。然而，这种方法不包括运动估计/区段，并且依赖于用于对象边界的演变的模型中的临时差分算子。

[0006]在另一种方法中，级别设置方法的上下文隐式地对对象边界的轮廓和多个仿射运动区段建模，然而，运动估计仅相对一个参考坐标系来进行，也就是根据帧n-1来确定帧n的运动。正如上面所论述的那样，这有问题。一些靠近对象边界的像素可能会被遮蔽；这将进而又偏置边界的估计，因为由于遮蔽而使得靠近边界的运动区段不可靠。

[0007]由此，对于常见的运动模型而言存在问题。

附图简要说明

[0008]本发明是以示例的方式来举例说明的，并不局限于附图的图形；其中相似的参考指示类似组件并且其中：

[0009]图1举例说明了其中可以使用本发明的技术的网络环境；

[0010]图2是其中可以实现本发明的实施例的计算机系统的框图；

[0011]图3以流程图形式举例说明了发明的一个实施例；

[0012]图4以流程图形式举例说明了视频编码的一个实施例；

[0013]图5举例说明了运动分割成2个区域的一个实施例；

[0014]图6举例说明了控制像素的时间参考赋值的函数的一个实施例的性状；

[0015]图7、图8和图9都是示例，举例说明了应用于局部块区域的本发明运动模型的实施例如何实现分离成过去的和未来的运动参考，由此移动边界的提取被捕获；

[0016]图10是举例说明本发明运动模型的实施例如何估计移动边界的位置的示例；

[0017]图11是举例说明标准运动模型与本发明运动模型的实施例之间的比较的示例；

[0018]图12是举例说明3个运动、它们的移动以及最小预测误差参考帧的示例；和

[0019]图13举例说明了控制用于3个运动的时间参考赋值的接口函数的一个实施例的性状。

详细描述

[0020]描述了一种用于非线性的多运动模型和移动边界提取的方法和设备。

[0021]本发明涉及用于估计视频图像中的对象运动的新运动模型。在本发明的一个实施例中，使用了一种涉及空间和时间变量之间的非线性耦合的新运动模型，一种类型的区域竞争以分离多个运动，以及边界建模以提取移动对象边界的估计。所述模型是小型的并且能够用于运动分割和/或视频编码应用。

[0022]在本发明的另一个实施例中，已经使用运动模型的扩展来解决在背景部分中论述的问题。这种模型的基本特征如下：

1)引入时间变量以供相对于过去的和未来的帧的组合运动估计用；

2)允许多个运动(2个运动或更多)同时存在；