[发明专利]一种面向大规模三维重建的快速鲁棒特征跟踪方法

说明书

本发明公开了一种面向大规模三维重建的快速鲁棒特征跟踪方法，属于计算机视觉与计算机图形学领域。该方法对于场景的图像序列，根据像素点之间的对比关系检测图像的特征点；在差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算特征描述子；采用AP聚类方法对特征描述子进行聚类，将特征描述子划分为若干个不同的特征集合；采用并查集方法，对特征集合中的不同特征描述子进行匹配，获得特征跟踪链；采用极线约束方法去除特征跟踪链中的错误匹配关系，得到精确的特征跟踪链。该方法能够从噪声数据中检测足够多的特征点，高效准确地对特征进行跟踪，满足了三维重建的需求，从而简化三维重建的过程，降低了设计人员负担。

技术领域

本发明属于计算机视觉与计算机图形学领域，具体涉及一种面向大规模三维重建的快速鲁棒特征跟踪方法。

背景技术

大规模场景的快速三维重建在城市规划、游戏和军事仿真、增强现实、虚拟现实、地图导航和无人驾驶中具有重要的作用。由于场景中存在的光照变化、尺度变化、目标之间的遮挡和图像采集设备的不足，导致获取的图像数据存在大量的噪点。在多视图三维重建过程中，现有的特征跟踪方法检测出的特征点数目难以满足三维重建技术的要求，因此，重建出的三维模型存在大量的空洞。为了获得完整的三维模型，需要设计人员手工修复三维模型中的空洞，然而，这些修复工作极其耗时，因此，极大地增加了设计人员的负担。

例如论文《Good Features to Track for Visual SLAM》中提出的方法主要用于从大量的特征点集合中为同时定位与地图构建系统选取高质量的特征点，不包含特征检测和计算描述子步骤(Zhang G，Vela P A.Good features to track for visual SLAM.2015IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEEComputer Society，2015.)。论文《Metric learning driven multi-task structuredoutput optimization for robust keypoint tracking》中提出的方法主要是采用基于深度学习的方法从大量的图像数据中学习局部特征，只局限于特征检测和计算特征描述子，不包含特征匹配(Zhao，Liming，Li，Xi，Xiao，Jun，etc.Metric learning driven multi-task structured output optimization for robust keypoint tracking.ComputerScience，2014.)。论文《ENFT：Efficient Non-Consecutive Feature Tracking forRobust Structure-from-Motion》提出的特征跟踪方法，主要面向于视频序列，解决视频序列场景下特征跟踪丢失问题(Zhang G，Liu H，Dong Z，et al.ENFT：Efficient Non-Consecutive Feature Tracking for Robust Structure-from-Motion[J].IEEE TransImage Process，2015，25(12)：5957-5970.)。论文《Good features to track：A viewgeometric approach》提出的方法主要是采用一中基于极限几何方法消除错误匹配的特征点(Jiang J，Yilmaz A.Good features to track：A view geometric approach.IEEEInternational Conference on Computer Vision Workshops，ICCV 2011 Workshops，Barcelona，Spain，November 6-13，2011.IEEE，2011.)。

综合分析现有技术，现有的方法中，多为了解决跟踪过程中的某个特定问题，例如特征点检测，计算特征描述子，特征匹配和消除错误的特征匹配等，当综合应用这些方法进行特征跟踪时，效率较慢，并且检测出的特征点数目较少，并且特征匹配的准确率也不高，使得重建的三维模型出现大量空洞，增加了设计人员负担。