[发明专利]一种融合双目相机与IMU的定位与三维线框结构重建方法与系统

说明书

本发明涉及一种融合双目相机与IMU的定位与三维线框结构重建的方法与系统。本发明在双目视觉基础上，利用分治的策略初始化并融合惯性测量信息，实施跟踪定位与建图，可以稳健地在室内室外等环境以及复杂的运动条件下运行。在精确定位的基础上，基于关键帧优化后的位姿进行三维线框的重建与迭代优化。通过局部特征与空间几何约束匹配直线段并反投影到三维空间中。通过角度与距离约束，将直线段分成不同的集合。基于分组的结果，确定拟合区域并合并直线段。最终输出三维线框结构。本发明在传统的基于视觉的定位与建图的方法上，融合多源信息提高系统的稳定性与鲁棒性。同时在关键帧处，加入线信息，稀疏表达了三维环境的结构特征，提高了计算效率。

技术领域

本发明属于是计算机视觉领域，特别是涉及一种融合双目相机与IMU的定位与三维线框结构重建的方法与系统。

背景技术

基于视觉的同时定位与建图是计算机视觉领域的重要研究课题。它是指运载体搭载特定的视觉传感器，在没有先验环境信息情况下，对周围环境进行感知与描述，同时估计自己的运动。完整的视觉定位建图系统可以分为五个部分：传感器数据的获取、前端视觉里程计、后端非线性优化、回环检测以及建图。与其它的测量方法相比较，视觉测量的方法具有精度高、效率高、成本低廉、系统结构简单等优势，被广泛地应用于机器人导航、无人驾驶、三维测量、增强现实以及虚拟现实等方面。根据采用的视觉传感器的类型，可以将基于视觉的定位与建图系统分为三种类型：基于单目相机的系统、基于双目相机的系统以及结合单目相机与红外传感器的系统。

基于单目的视觉测量系统无法直接得到可靠的深度信息，初始化和重建的难度大，具有尺度的不确定性。基于深度相机的视觉测量系统成本较高，体积大，有效测量范围有限，限制了应用场景。而基于双目的视觉测量系统，在一次拍摄过程中，通过视差得到环境立体信息，精度比单目高。

根据算法处理图像信息方式的不同，可以分为基于特征的方法以及直接法。直接法操作的对象是图像的像素点，直接利用图像所有的信息。但是这种方法在优化时会受到图像梯度影响，同时在外界光照条件发生变化、相机发生大尺度移动、旋转无法进行跟踪。而特征法通过提取、匹配特征点，计算相机位姿并对环境建图，在保存图像重要信息的同时，有效地减少了计算量，从而被广泛地使用。早期的单目视觉定位建图系统通过滤波的方法实现，利用概率密度函数表示不确定性，并利用观测模型和递归运算，更新存储在状态变量中的相机位姿与地图点。但是此系统的精度不够高。之后，基于关键帧的单目定位建图系统开始流行，并以此进行了一系列优化策略，进一步提高准确性与实时性。后来，为了构建稠密的三维地图，出现了基于直接法的视觉测量系统。

随着科技发展，人们对于环境感知与定位建图的性能提出了更高的要求。一方面，基于特征点的稀疏地图的构建，丢失了环境中的关键结构信息，无法形成对环境进行有效的描述。稠密的地图的构建则需要处理数量庞大的点云数据，计算代价高。另一方面，仅仅依靠单一的视觉传感器无法满足某些复杂场景下(比如，光照变化、遮挡、高光、重复纹理以及独立运动物体等)系统对于鲁棒性与稳定性的要求。目前还没有能够在复杂环境中，高效率、高精度地重建环境结构信息的系统。因此，本发明融合视觉传感器和惯性测量单元，提高定位与建图的鲁棒性，提取并处理线结构特征，对周围三维环境的结构进行感知与重建，为实际工程应用设计了一套更加稳定、精确、廉价的自动化解决方案与系统。

发明内容

本发明针对现有技术的不足，提供一种融合双目相机与IMU的定位与三维线框结构重建方法与系统，本发明对于数据采集没有特殊的要求，可以是手持、车载等方式；在数据采集的同时，即可形成线框结构的重建与优化，保证了全局结构的一致性和连续性；抗干扰能力强，可以在复杂运动条件下稳定运行；不受应用场景的限制，可以在室内与室外运行。

为了达到上述目的，本发明提供的技术方案是：一种融合双目相机与IMU的定位与三维线框结构重建系统，包括如下模块：

数据采集模块，分别对双目相机拍摄的低频的图像流以及惯性测量单元中加速计与陀螺仪采集的高频的数据进行读取与预处理；