[发明专利]一种融合点线特征的视觉惯性里程计方法

说明书

本发明公开了一种融合点线特征的视觉惯性里程计方法，属于三维视觉领域。在基于特征点的视觉惯性里程计系统上，本发明在前端增加了线特征跟踪模块，在后端实现了与点特征完全平行的线特征管理模块。前端的线特征跟踪模块利用前后帧预积分技术诱导线特征的提取和匹配，大大降低了线特征的跟踪耗时。后端的线特征管理模块包含线特征的生成和剔除，有效控制了地图规模。此外，本发明基于点线特征的重投影误差与惯导信息的预积分误差项构造了联合损失函数，并通过滑动窗口优化完成了点线特征和惯导信息的紧耦合融合。本发明在EuRoC数据集上的测试结果表明，定位精度相比于原基于特征点的视觉惯性里程计系统有明显提升，线特征建图达到了较好效果。

技术领域

本发明涉及三维视觉领域，具体涉及一种融合点线特征的视觉惯性里程计方法。

背景技术

同时定位与地图构建算法是一种在搭载传感器的设备和环境发生相对运动的过程中，根据传感器提供的时序上连续的运动和环境测量信息，同时估计自身位姿和构建环境地图的算法。在过去数年中，研究者对视觉惯性SLAM和线特征进行研究的相关工作可分为视觉惯性SLAM的架构、线特征及其三维重构、融合线特征的SLAM系统三方面。

视觉惯性SLAM可根据传感器信息之间的融合方式分为松耦合和紧耦合两类。在松耦合框架下，视觉信息和惯导信息分别由不同的估计器独立计算出系统状态并融合为最终结果；紧耦合框架下则使用同一估计器处理视觉和惯导信息。相比松耦合框架，紧耦合在估计的早期阶段完成信息融合，具备更优的估计精度和鲁棒性。

线特征的检测按检测对象可分为参数空间方法和图像空间方法两类。Hough方法是在参数空间中线段检测的经典算法，该算法将图像空间中的点变换到参数空间中，在参数空间中检测到的极值即对应直线段，但其计算复杂性高，并且受限于参数空间的分辨率，将非连续的线段组合在一起会产生大量误检测。LSD算法基于图像空间中的梯度获得线段端点的种子点，避免了Hough变换的计算复杂度，从种子点出发通过区域生长构造直线段的支持域，并通过原始区域和矩形区域的精炼获得最终的线段区域，LSD算法提取的线段区域有良好的方向一致性，较之Hough变换在精度和实时性上均有较大提升。

三维线段的参数化表示主要分为两类：非线性的四参数最小化表示方法，以及线性过参数表示方法。非线性最小表示法如规范正交表示的维度由于与三维线段自由度相等，用于非线性优化不会诱发能观性问题，但难以直接表示其几何变换；过参数表示方法如Plücker则可以较好地用于变换。在三维线段的重构上，有报道一种Plücker坐标系下的Cayley表示方法，这种表示方法能够在满足Plücker约束的同时，使参数解耦从而集束优化，但面对非平凡的线段匹配以及平移运动漂移，这种非线性表示方法会出现奇异性。为了解决端点不稳定的问题，现有技术中报道了将平移和旋转解耦并松弛约束条件的方案，但其两条平行线与第三条线正交的假设限制了其实际应用。因此，在本发明中，对三维直线仅在估计器内部使用正交表示，三维直线的欧式变换、三角化和投影变换等模块中均使用Plücker表示。

在融合线特征的里程计及SLAM系统上，线特征广泛存在于人工环境中，研究者在SLAM系统中融合线特征可分为两种思路，一类基于人工环境中的线特征具有平行、垂直、共面等等关系的先验，将线特征作为额外的几何约束提升估计器性能，一类则将线特征作为与点特征平行的视觉信息源。前者着重关注几何约束的表示，而不关注线特征本身的跟踪和重构，后者则通常需要在前后端实现完整的特征生成与管理模块，并选择合适的线特征表示。

尽管视觉惯性SLAM架构已臻成熟，但融合线特征的视觉惯性系统则还未形成稳定的解决方案，对于将线特征作为平行视觉信息源的视觉惯性系统，尚有下面亟待解决的问题：

1)LSD和LBD是目前在SLAM系统上应用的主流线特征提取和匹配方法，此类算法面向通用视觉任务设计，无法兼顾SLAM系统的系统实时性，如PL VIO在桌面端的帧率低于10fps，相比于VINS-Mono的30fps，远远难以实际应用。并且在观察者发生持续运动的情况下，线特征极易将发生遮挡分断，LSD和LBD算法无法处理此类误匹配现象。