[发明专利]一种移动场景中多相机视觉三维地图构建与自标定方法

说明书

本发明公开了一种移动场景中多相机视觉三维地图构建与自标定方法，包括：构建用于多相机的通用相机模型；生成图像掩膜，获得标定图像点；采用多相机旋转平均策略，基于历史锚点测量位姿和锚点最优位姿，获得多相机当前时刻锚点的第一最优位姿；结合所有相机的所有匹配特征点对，构建新地图并融合冗余，得到三维视觉地图；采用光束集束优化方法进行迭代优化，得到锚点的第二最优位姿，实现三维视觉地图的自标定，基于图像语义，确定重识别图像，对三维视觉地图进行优化，并再次进行在线自标定。采用通用相机模型，扩展了多相机适用范围，优化在跟踪过程中的锚点位姿的旋转信息，保留绝对距离信息，实现三维视觉地图构建和在线自标定。

技术领域

本发明涉及多相机建模技术领域，尤其是涉及一种移动场景中多相机视觉三维地图构建与自标定方法。

背景技术

目前，自动驾驶和平面运动的机器人越来越成为大家关注的焦点，在环境比较复杂的空间中，单一相机获取的环境图像几何纹理不清晰、视角内的环境动态变化、快速运动导致环境追踪丢失等问题。而多相机系统能够获取更大视角的环境信息，特别在车载多相机系统中，通过相机位置的组合能够获得全景的视觉信息，因此车载多相机系统在解决单相机存在的上述问题中更加鲁棒。但是，在车载多相机系统安装的过程中，由于重叠区域较小导致相机间的相对位置标定精度有限，人为安装误差，以及车身在运动过程中形变的存在，需要在建图过程中对多相机外参进行动态标定。

专利申请号为CN108257161A、名称为基于多相机的车辆环境三维重构和运动估计系统及方法中，公开了一种基于多目全景惯导的slam系统，提出通过双目视觉系统进行系统初始化，并且在建图过程中依赖双目视觉构建具有绝对尺度的视觉地图。但在没有双目装置以及视觉重叠的系统中，此技术无法应用。

专利申请号为CN109307508、名称为一种基于多关键帧的全景惯导SLAM方法中，公开了一种基于多关键帧的全景惯导slam方法，提出了通过多相机与惯导的紧融合，解决相机快速运动导致的运动模糊以及尺度恢复的问题，但其初始化过程中，需要单独初始化视觉与惯导，且必须将视觉与惯导对齐校正惯导的参数，比较繁琐，运算量大。

专利申请号为CN111274847A、名称为一种定位方法中，公开了通过惯导推导的位姿和视觉的连续帧构建初始化三维地图，并在后续视觉地图跟踪过程中采用惯导的旋转信息剔除掉错误匹配点对。但是在跟踪过程中使用了惯导的加速度推导的距离信息，因此在构建的视觉地图中没有和真实空间对应的绝对尺度信息。

基于以上技术的局限性，如何实现移动场景中多相机进行视觉三维地图重建与在线自标定，是目前亟待解决的问题。

发明内容

本发明的目的是提供一种移动场景中多相机视觉三维地图构建与自标定方法，通过建立通用相机模型，选择图像点，采用多相机旋转平均策略，获得多相机当前时刻锚点的第一最优位姿，基于第一最优位姿、所有相机的匹配特征点对，构建三维视觉地图，采用光束集束优化方法，实现三维视觉地图的自标定，并结合重识别图像，对三维视觉地图进行优化，实现了多相机三维视觉地图的重建与自标定。

第一方面，本发明的上述发明目的通过以下技术方案得以实现：

一种移动场景中多相机视觉三维地图构建与自标定方法，包括：构建用于多相机的通用相机模型；生成图像掩膜，获得标定图像点；采用多相机旋转平均策略，基于历史锚点测量位姿和锚点最优位姿，获得多相机当前时刻锚点的最优位姿；结合所有相机的所有匹配特征点对，构建新地图并融合冗余，得到三维视觉地图；采用光束集束优化方法进行迭代优化，得到锚点的优化后的最优位姿，实现三维视觉地图的在线自标定，基于图像语义，确定重识别图像，进行场景重识别，对三维视觉地图进行优化，并再次进行在线自标定；在所有图像经过旋转平均、构建与融合三维视觉地图、在线自标定、场景重识别处理完成后，输出地图。

本发明进一步设置为：采用最小二乘拟合法，对各相机标定模型进行拟合，得到用于多相机的通用相机模型。