[发明专利]一种基于全景相机的双目视觉SLAM方法及系统

权利要求书

1.一种基于全景相机的双目视觉SLAM方法，其特征在于，具体步骤如下：

（一）图像获取，使用两个全景相机，以某一固定帧率采集图像序列，并进行图像预处理，以便于后续在标定模块和识别模块中提升精度；

（二）相机标定，令两个全景相机同时拍摄不同位姿下的标定板，得出全景相机模型所需的各项参数，以及两个全景相机间的刚体变换矩阵；根据所述全景相机模型实现空间点坐标和全景图像的像素坐标间的相互转换；

（三）图像识别，即对获取的全景图像进行语义识别，并对运动物体和图像盲区无效区域生成相应的掩膜；然后对同一时刻拍摄的双目全景图像提取特征点，并对两幅图像中的特征点进行匹配，剔除误差较大的匹配点对，得到满足要求的有效匹配点对；根据有效匹配点对恢复出对应的空间点的三维坐标；

（四）跟踪定位，即跟踪并估计当前相机在环境中的位置和姿态信息，然后基于当前帧和参考帧，使用光束法平差来进行位姿优化；如果当前帧和最邻近关键帧之间的差异足够多，则将当前帧视为新的关键帧，并添加到关键帧库中；

（五）图像重建，根据跟踪定位获取的新关键帧，以及对应的相机位姿和地图点坐标，绘制稀疏地图、相机位姿以及共视图；并使用光束法平差对其进行局部优化，不断更新地图点和相机位姿，同时在关键帧库中去除冗余的关键帧；

（六）闭环检测，根据跟踪定位获取的新关键帧，将新关键帧与关键帧库中的每一帧进行比对，寻找与新关键帧足够相似的关键帧；如果有满足要求的关键帧，则将其作为闭环关键帧；此时可视为检测到了闭环，即相机返回了先前经过的位置；然后使用光束法平差进行全局优化，以获得更为准确的相机位姿和地图点。

2.根据权利要求1所述的基于全景相机的双目视觉SLAM方法，其特征在于，步骤（一）图像获取的具体操作过程如下：

将两个全景相机固定在某一运动平台上，合理调整两个相机间的相对位置和朝向，避免设备间的遮挡；根据使用场景调整全景相机的焦距，并使两个相机的焦距保持一致；

连接两个全景相机后，以某一固定帧率采集图像序列，然后根据具体情况对图像进行预处理，预处理包括：伽马校正、高光抑制，以及图像的去噪和去模糊，以便于进行后续的相机标定和特征识别。

3. 一种基于权利要求1所述方法的基于全景相机的双目视觉SLAM系统，其特征在于，包括：图像获取模块，相机标定模块，图像识别模块, 跟踪定位模块，图像重建模块, 闭环检测模块，优化模块；其中，图像获取模块，相机标定模块，图像识别模块, 跟踪定位模块，图像重建模块, 闭环检测模块，依次执行基于全景相机的双目视觉SLAM方法的六个步骤的操作，优化模块包括位姿优化子模块、局部优化子模块、全局优化子模块，分别执行步骤（四）中位置和姿态优化操作、步骤（五）中局部优化操作、步骤（六）中全局优化操作。