[发明专利]运动估计系统中使用图形引擎获取的矢量的对象跟踪

说明书

技术领域

本发明涉及输入图像序列的运动估计，尤其涉及与基于相机/观察者的方向和位置产生的候选运动矢量相关联的方法。

背景技术

运动估计，图像、帧或视频场序列中的运动的识别是众所周知的。运动估计的现有方法一般考虑序列中的两个或更多个帧，并创建表示图像区域的从一个帧到下一个帧的2D平移运动的运动矢量集。运动估计的一种可能技术是运动搜索，在该技术中，搜索之前的帧以发现与当前帧中的特定区域最佳匹配的图像区域。两个匹配区域的位置差异给出了当前位置的运动矢量。

不同的系统具有不同的运动估计需求。在诸如视频编码器的压缩系统中，该需求是通过参考序列中的先前帧来形成帧的最紧凑表示。该需求通常用于发现给出当前帧与参考帧中的像素区域之间的最佳匹配的运动矢量，因为这导致最紧凑编码。虽然所得到的运动矢量通常表示场景中对象的实际运动，但是并不需要情况总是如此。在其他应用中，诸如对象跟踪或帧率转换，即使视频中的其他失真意味着相应图像区域中的像素并不可能总是彼此最佳匹配，运动矢量表示场景的真实运动仍然是更加重要的。通过在运动搜索过程期间应用合适的约束，结果能够在需要时被指引向“最佳像素匹配”或“真实运动”。帧中的运动矢量集被共同地称为用于那个帧的运动矢量场（motion vector field）。注意，如下文所描述的，术语“矢量场”的使用不应与用于描述交织视频序列中的数据的“场”或“视频场”的使用混淆。

虽然存在用于运动估计的许多方法，但是共有的实施例是基于块的运动估计器。将通过显示本发明如何与基于块的运动估计器一起使用来描述本专利中公开的发明，虽然本发明的原理也可以应用于其他类型的运动估计器。在基于块的运动估计器中，帧典型地被再划分成称为块或宏块的矩形区域的规则网格。在运动搜索过程中，每个块的像素数据与来自之前帧中的各种候选位置的像素数据进行比较，并计算每个候选的得分函数。具有最佳得分的块的相对位置给出了当前块位置的运动矢量。

图1示出了块匹配运动估计器的典型示例。在包括图1的所有附图中，运动矢量用箭头的头位于该矢量所对应的块的中心处示出。帧被分成块，并且之前帧中的对象101已经移动到当前帧中的位置102。该对象的之前位置被示为叠加在当前帧上，并用103表示。针对块而非针对对象执行运动估计，其中当前帧中的一批像素与之前帧中的块大小的像素区域相匹配，其不必是块对准的。例如，块104被移动的对象102部分覆盖，并具有如105处所示的内容。如果执行得好的话，针对块104的运动估计将发现之前帧中的像素数据区域106，也能看到该像素数据区域106包含105中所示的像素，也就是好的匹配已经被发现。通过被叠加回当前帧上，匹配的像素数据区域位于107处。因此，与块104相关联的运动矢量由箭头108示出。

不是穷举性地考虑每一个可能的位置，许多基于块的运动估计器通过用诸如绝对差和（SAD）或平均平方差（MSD）的得分函数对运动矢量候选集进行测试来选择他们的输出运动矢量，以识别给出最低误差块匹配的运动矢量。图2示出了针对当前帧中的块201的候选评估进程，其中块201具有在211中所示的像素内容。在该简单的示例性系统中，考虑了三个运动矢量候选206、207和208，这三个运动矢量候选对应于之前帧中的位置202、203和204处的候选像素数据区域。这些像素数据区域的像素内容分别如212、213和214中所见。显然，位置202处的像素数据提供了针对块201的最佳匹配，因此应该被选为最佳匹配/最低差别候选。通过叠加回当前帧上，匹配的像素数据区域位于205处，并且相关联的运动矢量是206。

已知运动矢量在时间和空间上与相邻块中的矢量高度相关，那么这些邻近矢量常常被用作运动估计中所考虑的用于特定块的候选运动矢量集的基础。当视频中的运动改变时，随机元素也可以被合并到候选中以允许该系统适应。在块具有不能由其邻近块简单预测的运动时，系统可以依赖于矢量候选的随机扰动，称为抖动。这对于缓慢变化的矢量场是好的，但倾向于不允许运动估计器快速聚合于与其邻近块非常不同的新矢量。依赖于随机性的系统可以随时间的推移朝正确的运动游荡，但是易于在局部最小值中形成阻塞，或聚合得太慢以至于等其到达那里的时候该运动已经再次改变了。因此希望引入能够更准确地预测新的和改变的运动的候选或者改进候选运动矢量的选择以改进矢量场的聚合速度。针对每个块所测试的候选运动矢量的数目常常是在选择足够大以识别真实运动和/或提供具有低残差的良好匹配同时足够小以最小化计算开销的集合之间的折中。