[发明专利]一种基于全景相机的双目视觉SLAM方法及系统

说明书

本发明属于计算机视觉技术领域，具体为一种基于全景相机的双目视觉SLAM方法和系统。本发明包括：使用两个全景相机获取图像；相机进行标定，根据全景相机模型实现空间点坐标和全景图像的像素坐标间的相互转换；对获取的全景图像进行识别、特征匹配、计算有效匹配点对应的空间点的深度信息，得到相应的空间三维坐标；跟踪并估计当前相机在环境中的位置和姿态信息，同时选取新关键帧；根据跟踪定位获取的新关键帧进行图像重建；根据跟踪定位获取的新关键帧进行闭环检测，获得更为准确的相机位姿和地图点，实现高精定位和建图。本发明在无人驾驶、机器人导航和增强现实等方面具有广阔的应用前景。

技术领域

本发明属于计算机视觉技术领域，具体涉及基于全景相机的双目视觉SLAM方法和系统。

背景技术

随着移动机器人和无人驾驶技术的快速发展，同步定位与地图构建（Simultaneous Localization and Mapping，SLAM）作为其中的核心模块成为业内的研究热点，它能实现智能机器人和车辆在未知环境中的定位与建图功能。而其中视觉SLAM是以相机作为传感器来采集信息。由于相机相比激光雷达来说拥有模型简单、信息量大、成本低廉、便于安装和功耗低等优点，视觉SLAM在增强现实、智能机器人等领域都有许多运用。然而相机易受到光照变化等环境因素的影响，因此提升视觉SLAM的系统精度和鲁棒性成为该领域的一项重要工作。

视觉SLAM通常可使用单目相机，双目相机和RGB-D相机来实现。使用单目相机时，视觉SLAM具有尺度不确定性，需要通过运动来估计场景特征点的深度，因此可能会出现尺度漂移等问题，影响定位的精度。而使用双目相机和RGB-D相机在相机静止时也能确定场景特征点的深度，因此能够更好地实现定位和建图等功能。此外，由于传统的基于视场角有限的普通双目相机的视觉SLAM通常在相机快速移动和拐弯时性能较差，容易跟踪丢失，且通常只能检测到同向闭环。而全景相机能增大视场角，在相机快速拐弯时拥有更好鲁棒性，同时能够实现反向闭环检测。因此双目全景视觉SLAM系统不仅克服单目尺度不确定性等问题，还能克服了传统的使用视场角有限相机的不足，从而进行更高精度的定位和建图。

发明内容

针对上述情况，本发明的目的在于提供一种鲁棒性好、定位精度高的基于全景相机的双目视觉SLAM方法及系统。

本发明提供的基于全景相机的双目视觉SLAM方法，具体步骤包括：图像获取，相机标定，图像识别, 跟踪定位，图像重建, 闭环检测；其中：

（一）图像获取，使用两个全景相机，两个全景相机以某一固定帧率采集图像序列，并进行图像预处理，以便于后续在标定模块和识别模块中提升精度；

（二）相机标定，令两个全景相机同时拍摄不同位姿下的标定板，得出全景相机模型所需的各项参数，以及两个全景相机间的刚体变换矩阵；根据所述全景相机模型实现空间点坐标和全景图像的像素坐标间的相互转换；

（三）图像识别，即对获取的全景图像进行语义识别，并对运动物体和图像盲区等无效区域生成相应的掩膜；然后对同一时刻拍摄的双目全景图像提取特征点，并对两幅图像中的特征点进行匹配，剔除误差较大的匹配点对，得到满足要求的有效匹配点对；根据有效匹配点对恢复出对应的空间点的三维坐标；这里所谓“误差较大”根据实际经验确定；

（四）跟踪定位，即跟踪并估计当前相机在环境中的位置和姿态等信息，然后基于当前帧和参考帧，使用光束法平差来进行位姿优化；如果当前帧和最邻近关键帧之间的差异足够多，则将当前帧视为新的关键帧，并添加到关键帧库中；这里所谓“差异足够多”根据实际经验确定；

（五）图像重建，根据跟踪定位获取的新关键帧，以及对应的相机位姿和地图点坐标，绘制稀疏地图、相机位姿以及共视图；并使用光束法平差对其进行局部优化，不断更新地图点和相机位姿，同时在关键帧库中去除冗余的关键帧；