[发明专利]单目视觉信息和IMU信息相融合的尺度估计系统及方法

说明书

本公开提供一种单目视觉信息和IMU信息相融合的尺度估计系统及方法，所述尺度估计系统包括：单目视觉SLAM模块，包括单目相机，用于采集视觉图像数据；IMU模块，用于获得IMU模块的IMU位姿数据；以及离线尺度估计模块，将所述视觉图像数据和IMU位姿数据进行融合，实现尺度估计和定位建图。所述尺度估计方法，包括：步骤S1：通过单目相机采集视觉图像数据；通过IMU模块获得IMU位姿数据；步骤S2：基于角速度将IMU位姿数据和单目相机位姿数据进行时间空间对齐；以及步骤S3：基于加速度在频域下进行尺度估计，完成基于单目视觉信息和IMU信息相融合的尺度估计。

技术领域

本公开涉及同步定位与建图技术领域，尤其涉及一种单目视觉信息和IMU信息相融合的尺度估计系统及方法。

背景技术

同步定位与建图技术(Simultaneous Localization and Mapping，简称SLAM)，是指移动机器人在未知环境和未知位置下，根据搭载的特定传感器的输入信息，增量式地构建全局一致性的环境地图的同时进行位置定位的问题。随着在过去几十年间的发展，SLAM技术在机器人、定位导航、计算机视觉等领域都成为了一项至关重要的研究技术，同时在工业界也初步形成了基本的产业化实用能力。

视觉SLAM(Visual SLAM)是使用单目相机、双目相机、RGB-D相机等视觉传感器构建的SLAM系统。视觉SLAM与人眼类似，通过主动或者被动接受环境光的方式实现对周围环境的信息感知，同时基于多视图几何原理对图像中的特征点进行三维空间还原，从而构建一个与真实环境一致的三维地图。基于双目相机、RGB-D相机的SLAM系统由于传感器能获取深度信息，从而可以构建出真实环境的尺度，但是RGB-D相机使用成本较高，同时RGB-D相机和双目相机在体积尺寸上较大，不便携带，限制了其在低成本设备、便携的移动设备上进一步应用。相反，基于单目视觉相机的SLAM系统具有成本低、体积小、实时性较高、可获取的信息丰富可靠等优点，在实用上更具优势。目前基于单目视觉的SLAM已经有许多的解决方案，比如开源方法VisualSfM，OpenMVG，OpenSfM，ORB-SLAM，ORB-SLAM2等等。但是因为单目相机在多视图几何投影理论上从三维空间投影到二维像素成像平面，损失了一个维度的信息，从而缺失了3D点的深度信息，最终构建出的地图不具有尺度信息。因此，纯单目视觉的SLAM系统都无法获得所建图的绝对尺度信息。这一缺陷限制了单目在现实场景下机器人的应用，也限制了定位和建图的应用。

IMU(惯性测量单元，Inertial Measurement Unit)同样具备了成本低、体积小的优点，IMU通过自身的惯性测量值可以对尺度进行估计。视觉惯性系统(visual inertialsystem，VINS)是指结合了视觉和惯性测量单元IMU实现定位、建图和导航的系统。通过低成本惯性测量单元辅助单目视觉系统成为了SLAM的一种增长趋势，这一系统可以借助IMU信息来弥补单目视觉SLAM系统不具有尺度信息的缺陷。

尽管单目VINS系统在技术层面能够在定位、建图和导航上完美的结合，但是实际的结合算法仍然有很大的不足。其中一大难点首先是对硬件提出了很高的要求，比如同步电路，比如硬件对齐设计。目前，包括商用化的视觉惯性里程计的专用硬件设备GoogleTango平板(使用鱼眼镜头相机和高精度IMU)在内，许多方法(比如Leutenegger et al.，2014，OKVIS框架)都是通过使用特殊定制化的硬件(Camera-IMU)来实现精确的尺度估计。尽管如此，也有一些方法利用标准的智能手机传感器进行运动跟踪和重建，这些方法实际的结果并没有达到理想的效果。