[发明专利]使用实时相机运动估计检测和跟踪运动对象的方法和终端

说明书

技术领域

本发明一般涉及用于在便携式终端中检测和跟踪图像中的运动对象的方法和装置。

背景技术

针对诸如计算机视觉和对象识别、机器人、监控系统、无人驾驶车辆系统等等的许多应用，已经对在从相机获取的连续图像中自动检测和跟踪运动对象的技术进行了许多研究。在图像中检测和跟踪运动对象的技术典型地被分类为使用模板匹配的方案、以及在通过校正相机的运动而校正的图像中检测和跟踪运动对象的方案。基于模板匹配的方案在通过相机接收的帧中人工选择(即，允许用户直接选择)要跟踪的对象，设置一些选择的区域作为模板，通过模板匹配来跟踪下一帧中具有最高相似度的区域，并确定具有最高相似度的区域为运动对象的区域。

在通过校正相机的运动而校正的图像中检测和跟踪运动对象的方案将通过相机接收的帧划分为若干块，从每块中提取特征信息，使用所提取的特征信息估计局部运动，基于所估计的局部运动信息去除增加运动估计误差的异常值(outlier)以便估计全局运动，并使用去除了异常值的特征信息估计全局运动。然后，该方案使用图像的特征计算校正了相机运动的连续图像中运动对象和背景的不同的运动信息，并从背景中分离运动对象。

然而，这些运动对象检测和跟踪方案存在若干问题。手动选择对象区域并通过基于模板匹配确定其相似度来跟踪对象的区域的方案是不方便的，并且如果模板匹配失败则该方案可能会继续跟踪非运动对象的部分。另外，如果运动对象在相机的预览区域之外，则此方案不能跟踪运动对象，并且必须重新选择运动对象。此外，如果所选择的运动对象的大小很大，则在模板匹配过程中的计算速度很低，导致预览帧输入相机的延迟。

其次，通过估计局部运动和全局运动校正相机的运动、然后使用图像的 特征来检测运动对象的方案一般使用考虑速度、基于图像的特征估计运动的方法，其中图像的特征是指对象的边缘、区域的边界、线的交叉等等。为了提取特征信息，通常使用Harris角点检测方法或Kansde-Lucas-Tomasi(KLT)边缘检测方法；边缘检测方法可以分类为Sobel、Canny和Laplace边缘检测方案。这些不同的特征信息提取方法可能不能在具有有限存储容量和运算处理能力的电子设备(如移动电话)中实时地执行。在一些情况下，考虑到速度，会在处理过程中将输入图像下采样到低分辨率。然而，在这种情况下，处理速度可能增加，但是运动估计的性能可能会降低。

因此，需要一种适合于便携式终端的运算处理能力的运动对象检测和跟踪方法。

发明内容

本发明的一个方面解决至少上述问题和/或缺点，并且提供至少如下所述的优点。因此，本发明的实施例的一个方面提供用于检测和跟踪图像中的运动对象的方法和装置，其适合于具有有限存储容量和运算处理能力的便携式终端。

根据本发明的一个方面，提供使用实时相机运动估计来检测和跟踪运动对象的方法。该方法包括：生成代表输入图像中图像模式(image pattern)的变化的特征图(feature map)，并提取图像的特征信息；使用所提取的特征信息估计用于识别相机的运动的全局运动；以及通过反映所估计的全局运动来校正输入图像，并通过在经校正的输入图像中将先前图像与当前图像进行比较来检测运动对象。

根据本发明的另一个方面，提供使用实时相机运动估计检测和跟踪运动对象的终端。该终端包括：相机单元，用于使用镜头和图像传感器来捕获图像；控制器，用于控制终端的组件；以及运动对象检测和跟踪单元。该运动对象检测和跟踪单元包括：特征提取器，用于产生代表输入图像中图像模式的变化的特征图，并提取该图像的特征信息；全局运动估计器，用于使用所提取的特征信息估计用于识别相机的运动的全局运动；以及运动对象提取器，用于通过反映所估计的全局运动来校正输入图像，并通过在经校正的输入图像中将先前图像与当前图像进行比较来检测运动对象。

附图说明

通过以下结合附图的描述，本发明的特定实施例的上述及其他方面、特征和优点将更加清楚，附图中：

图1是示出根据本发明的实施例的使用实时相机运动估计检测和跟踪运动对象的终端的结构的框图；

图2是示出根据本发明的实施例的用于使用实时相机运动估计检测和跟踪运动对象的终端中的运动对象检测和跟踪单元的详细结构的框图；

图3是示出根据本发明的实施例的用于使用实时相机运动估计检测和跟踪运动对象的方法的流程的示图；

图4A和图4B是根据本发明的实施例的通过使用实时相机运动估计检测和跟踪运动对象所获得的图像的例子的示图。