[发明专利]一种基于点线特征快速融合的重建方法

说明书

本发明公开了一种基于点线特征快速融合的重建方法，包含以下步骤。视频预处理，将视频截取为图像并进行焦距提取，下采样等预处理，以降低重建复杂度；点特征匹配，采用尺度不变特征变换进行点特征的提取和匹配；线特征由粗到细快速匹配，使用线段分割检测器特征进行线特征的提取和描述，通过对线段描述子进行暴力匹配、运动估计、汉明距离阈值判断和长度筛选四个步骤，获得图像线段特征匹配对；点线特征融合，将最终的线段特征匹配对转换为像素点，并与已经存在的点特征像素坐标位置进行分析，删除重复点后融合线段像素点与点特征；计算相机外姿和三维点云，使用最终图像点线特征匹配对，计算本质矩阵，求解相机外姿，三角化求解三维点云，并利用光束平差法优化结果。

技术领域

本发明属于计算机视觉三维重建领域，特别涉及一种基于点线特征快速融合的重建方法。

背景技术

基于稀疏点云的图像三维重建，也称为从运动恢复结构。传统重建过程主要通过点特征进行相机位姿和稀疏三维点云的计算。目前其研究主要分为两类。

一种是增量式重建。首先提取图像点特征，通常采用尺度不变特征变换，通过图像对之间点特征的提取和匹配，对相机外部姿态和三维点云进行求解，对结果进行最小二乘优化。

另一种是全局式重建。首先同样是提取图像点特征，对图像对点特征提取和匹配，进行全局的外姿计算，其主要改进在于进行一次全局化光束平差约束以减少重建时间。但是可以看到，在特征提取匹配方面仍然是使用点特征。

在稀疏三维重建中，特征占有举足轻重的地位，特征提取和匹配的结果直接影响到重建位姿的精度，从而影响到三维点云的准确度。但是，图像特征除了点特征，线段特征也富含很多信息。特别是在纹理信息缺少的图像中进行三维重建，将获取较少数量点特征，生成三维点云数量更少，结果便不太可靠。

一般，利用平均反向投影误差计算获得的三维点云结果和图像特征重投影三维点位置之间的重投影误差，计算其准确度。

发明内容

本发明的目的是在稀疏三维重建过程中，快速提取图像的线段特征，使点线特征联合参与到三维重建过程中，使重建结果中具有线段信息，重建质量更加鲁棒。

本发明的技术方案是这样解决的：

一种基于点线特征快速融合的重建方法，包含以下步骤：

步骤1：视频预处理，对视频隔固定帧进行截取，将截取的图像进行保存，对保存的图像信息EXIF进行分析，提取图像长宽像素大小、相机型号和焦距信息，对图像像素大小进行判断，如果图像长和宽的乘积大于阈值，则对图像进行下采样，较少计算复杂度；

步骤2：点特征匹配，采用尺度不变特征变换SIFT检测图像点特征，对图像进行特征点的检测并生成特征描述子，对获得的128维特征描述子进行L1标准化，即对128维向量每一个值都除这些向量之和，然后对每一个向量都开平方根，经过实验，标准化后点特征能够提升匹配准确率；

步骤3：线特征由粗到细快速匹配，首先是线特征提取，使用线段分割检测器特征LSD对每幅图像进行线段的检测，检测时分别计算两个尺度空间的值，以提升线特征尺度不变能力，然后对线特征按照响应值高低排序，提取保存线段特征第一个尺度空间的二进制描述子；

其次是线特征由粗到细匹配，首先进行暴力匹配，对第一幅图片的所有线段特征描述符检索第二幅图像描述符的汉明距离，最后返回距离最近的线段，所有距离最近的匹配对为线段特征匹配的初步结果；将所有线段的中点位置提取出来，将两幅图像的线段中点利用全局运动估计进行筛选，快速筛除不一致匹配对；其次，对二进制描述符匹配结果汉明距离进行判断，排除距离过大的匹配对；最后对线段特征长度进行筛选，比较线段匹配对的像素长度，删除不一致的线段匹配对，通过这四步，能够准确获得线段匹配结果。