[发明专利]基于快速定位图像尺度和区域的三维跟踪方法及系统

说明书

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于快速定位图像尺度和区域的三维跟踪方法。

背景技术

三维跟踪技术可以应用到虚拟现实，增强现实等热门领域中，其中，对二维平面自然图像进行三维跟踪是非常重要的一个方向。随着近几年移动设备的性能的快速发展，移动增强现实技术也取得了快速的发展。一方面，移动设备在计算能力，存储能力和续航能力等方面相比PC端存在着比较大的差距。另一方面，移动设备具有更好的便携性，并且配备了更多的传感设备，例如GPS，加速计，陀螺仪等。这些传感设备使得移动设备可以从外界获得更多的方位和移动信息。由于移动设备具有这样的优缺点，人们在移动设备上实现了三维跟踪算法，并对算法进行了计算上的优化，使得三维跟踪系统可以在移动设备上流畅的运行。

传统的二维图像进行三维跟踪算法大体可以分为两个阶段，预处理阶段和实时跟踪阶段，预处理阶段从模板图像中提取特征点，并存放在一个特征点数组中。传统的三维跟踪算法为了实现特征的尺度不变性，对模板图像构建金字塔结构，对不同的尺度图像分别提取特征点。提取特征点之后，将各个不同尺度图像上提取到的特征点保存在一个特征点数组中。在实时跟踪阶段，对获取到的每一帧屏幕图像提取特征点，并与预处理阶段得到的模板特征点数组进行特征匹配，进而计算摄像机位姿。

传统的二维图像跟踪算法都是将模板图像上提取到的特征点保存在一个数组中，没有按照特征点在模板上出现的位置和尺度分别存放管理。所以在实时跟踪过程中，屏幕图像特征点需要与模板图像上各尺度下的整个图像的特征点进行匹配。由于实现尺度不变性需要对模板图像构建尺度金字塔，并对不同尺度的图像分别提取特征点，会进一步降低三维跟踪的效率，所以很多传统的算法都因为效率原因没有加入尺度不变性。一些算法加入了尺度不变性，但是以降低了系统效率为代价。在实际中，屏幕图像可能只会与模板图像的某个尺度或某个区域匹配成功。其余的大部分特征匹配都是无效的。这无疑浪费了大量的计算资源。

发明内容

本发明的目的旨在解决上述的技术缺陷。

为此，本发明的一个目的在于提出一种基于快速定位图像尺度和区域的三维跟踪方法。该方法具有三维跟踪速度快的优点。

本发明的另一个目的在于提出一种基于快速定位图像尺度和区域的三维跟踪系统。

为了实现上述目的，本发明的第一方面的实施例公开了一种基于快速定位图像尺度和区域的三维跟踪方法，包括以下步骤：获取模板图像，并根据所述模板图像构建尺度金字塔；从所述尺度金字塔中每一尺度下的图像中提取第一特征点；对所述尺度金字塔中每一尺度下的图像进行区域划分，并根据区域信息和区域对应的第一特征点生成关键帧数据结构；利用摄像机采集屏幕图像；从所述屏幕图像中提取第二特征点；估计所述摄像机的位姿，并判断位姿的估计值是否正确；如果正确，则将关键帧区域边界投影到所述屏幕图像上；根据关键帧投影到所述屏幕图像上的投影结果选择候选关键帧序列；根据所述屏幕图像的第二特征点和所述候选关键帧序列的第一特征点进行特征点的匹配；根据特征点的匹配结果得到单应性矩阵；根据所述单应性矩阵计算所述摄像机的位姿。

另外，根据本发明上述实施例的基于快速定位图像尺度和区域的三维跟踪方法还可以具有如下附加的技术特征：

在一些示例中，在判断所述位姿的估计值是否正确之后，还包括：如果所述位姿的估计值不正确，则采用传统方法计算所述摄像机的位姿。

在一些示例中，根据以下公式选择候选关键帧序列，其中，所述公式为：

其中，所述σ为所述屏幕图像和关键帧投影图像的重合因子。

在一些示例中，在所述利用摄像机采集屏幕图像之后，还包括：获取前一帧图像的特征点集；根据所述前一帧图像的特征点集，利用光流算法求解所述屏幕图像与模板图像匹配的特征点；根据所述匹配特征点得到单应性矩阵；根据所述单应性矩阵计算所述摄像机的位姿。